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推荐 序 一 


2014 年 年 初 ， 正 值 学 期 结束 之 际 ， 工 作 比 较 忙 ， 就 利用 这 次 从 银川 飞 往 
上 海 的 途中 ， 完 成 了 一 项 非常 有 意义 却 很 有 挑战 的 任务 ， 为 微软 总 部 资 
深 测 试 工程 师 史 亮 博 士 所 善 的 《软件 测试 实战 》 写 序 。 飞 机 上 没有 网 

络 、 电 话 ， 倒 是 一 个 很 封闭 、 不 受 干 扰 的 session， 可 以 集中 注意 力 做 好 
一 件 事 :， 从 另 一 个 方面 看 ， 也 说 明 上 自己 对 写 此 序 非 常 重视， 和 希望 不 愧 对 
朋友 所 托 ， 能 够 较 好 地 完成 这 一 “艰巨 ”的 任务 。 


差不多 两 年 前 ， 我 也 曾 为 作者 和 高 翔 所 彰 的 《探索 式 测 试 实践 之 路 》 一 
书写 过 序 ， 但 这 本 新 书 有 很 大 不 同 ， 涉 猎 之 广 几 乎 履 盖 了 测试 工作 各 个 
方面 ， 从 缺陷 报告 、 测 试 建 模 、 测 试 需求 分 析 与 设计 到 团队 建设 、 个 人 
管理 等 。 从 单一 测试 方式 的 测试 实践 走 同 全 面 的 软件 测试 实践 之 路 ， 这 
期 间 需 要 更 多 的 积累 ， 需 要 更 高 、 更 广 的 视野 ， 由 此 体现 出 作者 全 面 的 
测试 知识 、 独 到 的 思考 和 丰富 的 经 验 。 本 书 不 仅 内 容 丰 语 ， 入 木 三 分 ， 
而 且 对 读者 的 指导 体贴 入 微 ， 循 序 渐 进 地 给 予 具体 的 示范 性 操作 。 例 

如 ， 通 过 一 周 的 测试 过 程 指 导 测 试 人 员 如 何 做 好 具体 的 测试 工作 。 本 书 
侧重 测试 实践 ， 如 在 讨论 “ 面 同调 试 的 测试 代码 *”、“ 系 统 测试 的 测试 开 
发 "时 ， 把 作者 目 己 实践 过 的 经 验 一 条 一 条 地 摆 出 来 展开 讨论 ， 并 通过 
列 出 测试 人 员 容 易 磁 到 的 问题 ， 逐 条 解答 ， 以 帮助 读者 解决 一 些 复杂 的 
测试 难题 ， 如 根据 语 境 CE RSC) 如 何 完善 组 合 测 斌 的 模型 、 局 发 式 测 
试 Oracle 应 用 等 。 本 书 还 介绍 了 一 些 新 的 测试 概念 或 方法 ， 如 大 规模 目 
动 化 测试 CHIVAT) ， 系 统 生 态 图 的 应 用 ， 风 险 管 理 中 的 长 回路 、 短 回 
路 等 。 除 此 之 外 ， 我 们 还 能 从 本 书 学 习 到 大 量 测 试想 法 、 清 晰 的 测试 逻 
辑 思维 、 各 种 测试 方法 等 ， 极 大 地 增强 我 们 的 测试 技能 。 


近 几 年 ， 作 者 在 美国 微软 公司 总 部 工作 ， 本 书 分 享 的 思想 、 方 法 和 经 验 
多 数 来 自 于 软件 业 最 发 达 的 欧美 ， 吸 收 了 不 少 欧 美 测试 大 师 的 卓越 思想 
和 优秀 实践 ， 引 用 了 近 上 百 项 资料 文献 ， 所 有 文献 都 是 英文 的 ， 时 间 跨 度 
也 很 长 ， 从 1972 年 到 2012 年 ， 长 达 40 多 年 。 可 以 这 样 说 ， 本 书 为 我 们 省 
去 了 阅读 国外 文献 的 大 量 时间 ， 仪 从 这 一 点 来 看 ， 这 本 书 也 极 具 价值 ， 
更 何况 本 书 对 一 批 测试 大 师 的 智慧 进行 了 提炼 ， 并 应 用 到 实际 的 案例 

中 。 这 些 测试 大 师 包 括 我 们 熟知 的 James Bach, Jonathan Bach, Cem 

Kaner, Michael Bolton, James Whittaker, Elisabeth Hendrickson, Rikard 
Edgren, Harry Robinson， 等 等 。 因 此 ， 本 书籍 此 分 享 了 他 们 贡献 给 测 




















试 知识 宝库 的 一 些 精华 内 容 ， 如 : 

产品 研究 的 7 大 元 素 SFDAPOT; 

启发 式 测试 计划 语 境 (上 下 文 ) 模型 HTPCM; 

局 发 式 测试 策略 模型 (HTSM) ; 

探索 式 测试 管理 方法 SBTM (Session-Based Test Management) ; 
测试 技术 分 类 体系 ; 

敏捷 四 象限 、 测 试 自动 化 金字 塔 ; 

基于 缺陷 模型 的 快速 测试 方法 ; 

基于 部 署 图 的 测试 指导 词 ; 

测试 Oracle 指 导 词 FEW HICCUPPS. 


软件 测试 不 同 于 硬件 测试 ， 不 仅 在 于 软件 的 复杂 性 、 软 件 需 求 的 善 变 
性 ， 而 且 在 于 软件 的 社会 性 ， 在 一 个 软件 中 融入 了 更 多 的 社会 因素 ， 如 
不 同 用 户 的 软件 应 用 体验 、 受 业务 环境 影响 的 业务 操作 、 受 人 们 心理 影 
啊 的 业务 逻辑 变化 。 基 于 这 样 的 背景 ， 基 于 上 下 文 驱 动 测试 〈Context- 
driven test〉 的 方法 体系 引起 人 们 足够 的 重视 ， 我 也 深 感 作者 受 这 个 体系 
(以 James Bach. Cem Kaner, Michael Bolton 等 为 代表 的 流派 ) 的 影响 
比较 大 ， 包 括 对 软件 测试 的 理解 ， 更 倾 回 于 这 样 的 观点 : 测试 是 一 种 服 
务 测试 人 员 通 过 服务 团队 来 体现 自己 的 价值 ， 测 试 是 一 种 技术 调查 ， 其 
目的 是 同和 干系 人 提供 有 关 产 品质 量 的 实验 消息 。 本 书 依 旧 继 承 了 《探索 
式 测 试 实践 之 路 》 的 测试 思想 ， 在 测试 技术 这 一 章 ， 并 没有 讨论 功能 测 
试 和 性 能 测试 的 传统 方法 和 技术 ， 而 更 多 是 从 “上 下 文 驱动 学 派 ”的 启发 
式 测 试 策略 、 快 速 测试 、 探 索 式 测试 等 方式 方法 出 发 ， 来 介绍 测试 技 
术 ， 包 括 情景 测试 、 漫 游 测 试 、 肥 星 剧 测试 等 技术 ， 使 测试 更 有 趣 ， 更 
能 适应 软件 测试 的 社会 性 。 


本 书 从 缺陷 报告 开始 讨论 ， 昌 然 编 排 不 同 于 一 般 的 测试 书籍 ， 但 也 合 平 
逻辑 ， 缺 陷 发 现 和 报告 是 一 个 测试 人 的 基本 能 力 。 基 于 时 间 和 方法 技术 
的 限制 ， 一 般 应 用 系统 的 测试 还 无 法 做 到 百分之百 的 测试 ， 所 以 迫使 人 
们 常 第 从 反 向 思维 角度 思考 测试 ， 就 是 尽 可 能 发 现 缺 陷 ， 缺 陷 发 现 越 多 

















且 能 被 修复 ， 产 品质 量 就 越 高 。 从 这 一 思维 方式 出 用， 发 现 缺陷 是 软件 
测试 的 基本 目标 之 一 ， 或 者 说 ， 发 现 缺陷 的 测试 是 成 功 的 测试 。 作 者 在 
和 
TA o 


当 敏 捷 开 发 席卷 世界 时 ， 人 们 对 文档 重视 程度 越 来 越 低 的 时 候 ， 本 书 把 
测试 文档 放 在 很 重要 的 地 位 ， 体 现 了 作者 的 独立 思考 和 务实 的 态度 ， 不 
随波逐流 ， 从 测试 目 身 要 求 出 有 发， 强调 “调试 文档 是 持续 演化 的 工具 ”， 
把 探索 式 测试 的 思想 “测试 设计 、 执 行 、 评 佑 《分 析 ) 、 学 习 ? 应 用 到 文 
档 的 改进 和 维护 中 ， 并 通过 从 测试 计划 、 设 计 规 约 、 检 查 列 表 到 各 种 形 
形 色色 文档 的 介绍 ， 也 让 读者 更 全 面 、 更 深刻 地 理解 软件 测试 。 其 次 ， 
己 有 测试 书籍 对 测试 建 模 及 其 应 用 介绍 部 比 较 少 ， 但 本 书 不 仅 在 第 4 章 
用 一 章 的 篇 幅 来 介绍 各 种 测试 建 模 方 法 及 其 应 用 ， 而 且 在 第 3 章 、 人 第 7 章 
等 都 有 所 涉及 ， 揭 开 了 测试 建 模 的 神秘 面纱 ， 让 测试 人 员 不 再 拒 测 试 建 
模 于 千里 之 外 ， 促 进 测 试 人 员 在 日 常 测 试 工作 中 能 够 习惯 地 运用 测试 建 
模 来 解决 复 傈 系统 的 测试 问题 ， 不 断 地 改进 测试 。 


目 动 化 测试 永远 是 软件 测试 的 核心 主题 之 一 ， 本 书 也 不 例外 ， 谈 到 目 动 
化 测试 策略 和 实践 ， 如 用 了 较 多 篇 幅 讨论 面向 调试 的 测试 代码 、 系 统 级 
别 〈 包 括 系 统 GUI 测 试 ) 的 自动 化 测试 开 及 。 但 是 ， 作 者 用 了 更 大 篇 幅 
来 研究 “产品 ”和 “项 目 ”， 因 为 这 些 的 确 是 测试 的 基础 ， 产 品 是 测试 的 对 
象 ， 不 能 真正 理解 产品 、 不 翼 悉 产品 功能 特性 和 技术 实现 ， 测 试 是 不 可 
能 做 好 的 ; 而 每 个 要 执行 的 测试 任务 部 是 为 了 达到 测试 目标 ， 而 测试 目 
标 及 其 实现 都 直接 和 其 项 目的 环境 因素 相关 联 。 


我 在 阅读 本 书 时 ， 不 仅 产 生 了 上 述 这 么 多 的 共鸣 ， 而 且 还 有 更 多 的 收获 
和 体会 。 例 如 ， 在 阅读 8.2 节 内 容 时 ， 束 勾 起 了 我 在 webex 工 作 的 某 些 回 
忆 。 当 初 我 们 使 用 目 己 开发 的 项 目 和 缺陷 管理 系统 QAForum， 这 个 系统 
有 一 个 很 大 的 优点 ， 就 是 用 户 可 以 写 SQL 语 句 ， 构 造 自己 想 要 的 任何 形 
式 的、 灵活 抽取 不 同 数据 的 缺陷 报告 。 


最 后 ， 和 希望 读者 在 阅读 本 书 时 能 有 更 多 的 思考 ， 并 根据 本 书 的 指引 ， 阅 
和 
10 
































朱 少 民 
同济 大 学 软件 学 院 教授 


推荐 友 二 


非常 薪 幸 受 邀 为 史 亮 的 这 本 新 书 作 序 。 宇 无 疑问 ， 史 亮 是 一 位 优秀 的 思 
考 者 ， 从 本 书信 手 牛 来 的 各 种 案例 中 就 能 够 清楚 地 看 到 这 一 点 : 从 离开 
东 项 目 后 其 他 人 接手 的 困难 中 ， 史 有 亮 思考 和 总 结 出 了 测试 工程 师 工作 的 
依赖 性 ， 从 代码 履 盖 的 案例 中 引申 出 履 新 率 的 作用 和 陷阱 .…... 能 够 在 国 
内 的 测试 领域 看 到 这 样 一 本 真正 以 个 人 思考 为 主 的 原创 性 图 书 ， 实 属 不 
易 。 我 相信 史 亮 非常 好 地 贯彻 了 他 在 书 中 “ 且 行 且 思 ?这 一 节 中 提 到 的 理 
a: 一 方面 ， 它 暗示 软件 人 员 的 职业 生涯 是 “漫漫 长 路 "， 需 要 坚持 不 懈 
7 2 
JOD z NPJ, 


我 从 1998 年 偶然 进入 软件 测试 领域 ， 在 其 中 投入 了 十 多 年 的 精力 ， 对 软 
件 测试 的 不 少 方 网 都 有 所 涉及 ， 期 间 经 历 过 多 种 类 型 的 项 目 ， 和 不 同 的 
人 员 合 作 过 ， 尝 试 过 各 种 测试 技术 和 方法 。 虽 然 从 2011 年 起 软件 测试 不 
再 是 我 的 主要 方向 ， 但 我 有 和 注 经 历 了 中 国 的 软件 测试 行业 迅速 发 展 的 十 
年 ， 对 于 软件 测试 本 映 有 着 上 自己 的 一 些 理解 和 思考 。 


当然 ， 即 使 在 这 个 行业 投入 了 十 多 年 的 时 间 ， 我 仍然 无 法 为 “该 怎么 做 
软件 测试 > 这 个 问题 给 出 简单 明确 的 回答 。 从 2011 年 开始 ， 我 的 主要 角 
色 变 成 了 互联 网 组 织 的 整个 研发 团队 的 管理 者 ， 这 个 位 置 使 得 我 可 以 不 
再 站 在 一 个 纯粹 测试 者 的 角度 看 待 问 题 。 站 在 组 织 的 角度 看 待 测试 ， 最 
关心 的 问题 不 再 是 “该 怎么 做 软件 测试 "， 而 是 “软件 测试 该 如 何 促进 组 
织 ”。 以 促进 组 织 《〈《 生 产 率 等 ) 为 目标 的 测试 ， 上 自然 不 仅仅 需要 测试 工 
程 师 的 工作 ， 还 需要 开发 工程 师 、 产 品 经 理 等 各 种 角色 共同 参与 进来 。 
有 代表 性 的 互联 网 企业 (如 Google、Facebook) 不 约 而 同 地 采用 了 小 规 
模 的 测试 团队 《甚至 不 设置 单独 的 测试 团队 ) ， 越 来 越 多 的 开发 工程 师 
开始 关注 测试 和 强调 测试 技能 〈 包 括 对 可 测试 性 的 关注 ) 。 在 这 样 的 趋 
势 之 下 ， 现 有 测试 行业 的 主要 从 业者 一 一 测试 工程 师 自 然 会 面临 压力 和 
机 遇 。 压 力 不 言 而 喻 : 来 自 组 织 和 开发 者 的 更 高 期 待 使 得 测试 工程 师 不 
得 不 具有 更 全 面 的 视野 、 更 扎实 的 技术 能 力 ， 以 及 更 有 价值 的 产 出 ; 而 
机 遇 ， 则 是 测试 工程 师 可 以 有 机 会 摊 胶 一 直 以 来 圈 住 自己 的 “发 现 缺 

陷 ” 的 定位 ， 真 真正 正 地 为 组 织 创造 更 大 的 价值 。 


然而 , “创造 真正 的 价值 ?需要 测试 工程 师 系 统 的 能 力 ， 仅 靠 亦 步 亦 趋 地 






































跟随 某 个 流程 无 法 达成 ， 幻 想 通 过 盖世 神 兵 〈 某 个 工具 ) 或 是 幻想 掉 下 
山崖 拿 到 神秘 的 内 功 心 法 也 无 法 达成 。 有 人 说 测试 工程 师 是 个 “ 越 老 越 
吃香 ”的 行业 ， 我 却 要 说 ， 这 个 行业 需要 的 不 是 资历 ， 而 是 “经 验 "。 即 
使 你 把 手头 上 的 工作 重复 十 年 ， 没 有 思考 ， 不 经 过 系统 的 学 习 和 提炼 ， 
你 的 经 历 永远 只 能 是 低层 次 的 重复 而 已 。 该 如 何 学 习 ? 该 如 何 思考 ? 该 
如 何 系统 化 你 的 经 验 ? 


不 得 不 次 ， 就 我 看 到 的 状况 而 言 ， 大 部 分 测试 工程 师 还 并 未 理解 这 个 巨 
大 的 转弯。 仍然 有 不 少 人 认为 测试 融 是 根据 流程 完成 任务 ， 或 是 仍然 执 
着 于 测试 与 开发 的 界限 ， 国 地 为 牢 地 守 着 那些 可 怜 巴 巴 的 “测试 技术 ”。 
从 这 个 意义 上 说 ， 史 亮 这 本 书 适 逢 其 时 ， 它 不 是 一 本 以 说 教 口吻 教 
你 “该 如 何 一 步 一 步 做 好 测试 ?的 蔬 ， 也 不 是 一 本 告诉 你 测试 领域 又 出 现 
了 多 少 新 名 词 的 蔬 ， 它 用 作者 本 人 的 经 验 ， 和 你 分 享 一 个 在 测试 行业 勤 
于 思考 的 人 对 测试 的 理解 。 


这 本 书 不 是 一 本 让 你 用 来 模仿 的 书 ， 而 是 一 本 让 你 有 所 思考 的 书 。 史 腕 
在 本 书 中 和 盘 托 出 的 ， 不 是 目 己 的 武功 招式 ， 而 是 自己 的 心 法 。 如 宁 想 
要 从 本 书 中 得 到 最 大 的 价值 ， 我 建议 你 静 下 心 来 ， 仔 细 品 读 史 腕 在 本 书 
中 娓 娓 道 来 的 思考 ， 在 他 的 带领 下 ， 和 他 一 起 领略 思考 的 乐趣 吧 。 
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2014 年 2 月 16 日 于 北京 


推荐 序 三 


我 和 史 亮 从 2009 年 就 认识 了 ， 对 于 史 腕 在 测试 技术 上 的 销 研 精神 我 非 闻 
敬佩 。 前 两 年 我 有 焉 和 史 腕 合作 一 起 编写 《探索 式 测 试 实践 之 路 》 一 

书 ， 在 那 段 测试 技术 交流 的 日 子 里 ， 史 亮 对 于 软件 测试 的 前 沿 测试 技术 
和 测试 理念 的 理解 让 我 印象 非常 深刻 。 他 还 积极 地 在 工作 中 实践 最 新 的 
测试 技术 ， 分 享 目 己 的 心得 体会 ， 一 直 是 我 学 习 的 榜样 。 


通过 但 看 这 本 书 的 参考 文献 束 知 道 ， 史 腕 很 认真 地 编写 这 本 关于 软件 测 
试 技术 的 实战 书籍 ， 我 也 仔细 地 阅读 了 该 书 相关 音节， 最 大 的 感受 就 是 
这 本 书 的 可 操作 性 比较 强 ， 与 传统 测试 书籍 的 理论 知识 较 多 而 实际 案例 
较 少 相 比 ， 这 本 书 更 能 让 我 们 体会 到 理论 和 实践 的 相互 结合 和 相辅相成 
的 关系。 史 腕 在 微软 美国 总 部 接触 到 了 这 么 多 前 沿 的 测试 技术 和 理论 并 
将 它们 付 诺 实 践 ， 这 些 宝贵 的 经 验 都 沉甸甸 地 包含 在 这 本 书 里 ， 特 别 是 
第 4 草 的 建 模 技 术 和 第 5 半 的 测试 分 析 技 术 ， 史 腕 将 业界 大 部 分 测试 技术 
和 分 析 方 法 通过 简单 实用 的 方式 描述 出 来 ， 方 便 读 者 学 习 和 应 用 。 我 认 
为 ， 读 者 看 了 这 本 《软件 测试 实战 》 后 ，80% 的 软件 测试 书籍 和 测试 文 
章 都 可 以 不 用 再 去 阅读 了 ， 因 为 精华 的 内 容 和 微软 一 线 测试 专家 杀 目 实 
践 的 心得 都 涵盖 在 本 书 里 。 


史 亮 不 仅 在 测试 开发 和 测试 管理 上 有 目 己 的 独特 见解 ， 也 善于 在 工作 过 
程 中 思考 如 何 更 好 地 做 软件 测试 ， 如 何 更 好 地 分 析 产 品 、 提 高 训 试 效 

率 。 我 和 史 腕 都 认为 ， 软 件 测评 分析、 设计 、 管 理 在 整个 项 目 周期 中 是 
个 动态 的 过 程 ， 并 且 存 在 较 好 的 手段 来 所 高 和 控制 这 个 动态 过 程 ，《 软 
件 测试 实战 》 将 告诉 读者 如 何 更 好 地 控制 和 提升 整个 动态 过 程 。 同 时 这 
本 书 也 传递 了 这 样 一 种 理念 : 软件 测试 不 仅仅 是 测试 工程 师 的 个 人 舞 

台 ， 更 需要 和 项 目 团队 、 和 被 测 项 目 /产品 、 个 人 管理 充分 融合 和 洲 凋 ， 

才能 完美 地 体现 软件 测试 的 价值 。 


目前 国内 的 很 多 大 公司 都 有 测试 开发 工程 师 这 个 岗位 ， 但 是 很 多 人 会 认 
为 测试 开发 工程 师 更 多 的 是 从 事 开 发 的 工作 ， 而 不 是 测试 的 工作 。 史 腕 
将 目 己 在 微软 总 部 的 杀 吴 实践 经 历 告 诉 读者 ， 如 何 来 理解 测试 和 开发 的 
关系 ， 如 何 把 测试 开发 工作 效益 最 大 化 ， 如 何 做 有 效 的 目 动 化 测试 ， 而 
不 是 盲目 的 上 自动 化 测试 。 









































最 后 ， 我 极力 推荐 这 本 《软件 测试 实战 》， 因 为 它 不 仅 会 让 你 学 习 到 最 
新 的 测试 技术 和 实践 成 果 ， 而 且 会 让 你 体会 和 理解 一 个 在 测试 技术 上 不 
断 突 破 上 自我 的 工程 师 的 心路 历程 。 

Fy PH 


淘宝 资深 测试 工程 师 ，《 探 索 式 测试 实践 之 路 》 合 著者 
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我 在 攻读 博士 学 位 时 开始 研究 软件 测试 ， 毕 业 后 一 直 任 职 测 试 工程 师 ， 
从 事 第 一 线 的 测试 工作 ， 不 知 不 觉 已 有 十 余年 的 光阴 。 在 此 期 间 ， 我 阅 
读 过 大 量 的 测试 文献 ， 参 与 过 多 个 不 同类 型 的 测试 项 目 ， 既 学 到 了 许多 
有 价值 的 方法 ， 也 观察 到 了 一 些 不 太 有 效 的 实践 ， 既 通过 努力 获得 过 成 
功 的 经 验 ， 也 从 错误 中 得 到 了 宝 贯 的 教训 。 随 着 经 历 的 增长 ， 我 渐渐 构 
建 出 自己 的 知识 体系 ， 从 实践 中 打磨 出 一 批 指 导 测 试 工作 的 集 略 与 经 

验 。 目 然而 然 ， 一 个 朴素 的 想法 浮现 出 来 : 如 果 将 我 的 所 学 所 知 分 至 给 
更 多 的 测试 工程 师 ， 想 必 能 帮助 他 们 节省 学 习 与 积累 的 时 间 ， 以 更 快 地 
提 高 测试 水 平 。 在 该 想法 的 驱动 下 ， 我 广泛 地 阅读 了 测试 文献 ， 深 入 地 
Beene Chere ete eat eee 











AS ET BASE RAE MALE PT BUS RAAT ARS, ET 
助 测试 人 员 建 立正 确 的 观念 ， 并 掌握 一 批 切 合 实战 的 测试 技术 。 一 方 

面 ， 我 总 结 了 测试 专家 的 见解 和 方法 ， 将 其 精华 内 容 综 述 在 本 书 之 中 ， 

以 帮助 读者 提高 学 习 效 率 、 快 速 地 营 握 综合 性 的 技能 。 另 一 方面 ， 我 努 
力 将 自己 的 经 验 和 反思 融入 书 稳 ， 使 它 反 映 出 我 在 工作 中 使 用 的 集 略 、 
方法 和 技巧 。 总 之 ， 这 是 一 本 注重 实效 的 书 ， 演 试用 理论 结合 实践 的 方 
式 来 解决 现实 的 问题 。 











本 书 的 组 织 方 式 


在 概述 一 些 基本 测试 观点 (第 1 章 ) 之 后 ， 本 书 按照 “启发 式 测试 策略 模 
AN” (参见 4.2.1 节 ) 的 基本 元 素来 展开 论述 : 观察 到 的 质量 〈 第 2 章 ) 、 
测试 设计 (第 3、4、5、6 章 ) 、 产 品 元 素 〈( 第 7 章 ) 和 项 目 环境 《第 8 
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随后 ， 讨 论 了 测试 人 员 如 何 参 与 团队 工作 《第 9 章 ) 并 实施 个 人 





管理 〈 第 10 章 ) 。 


第 1 章 痔 述 我 对 软件 测试 的 基本 观点 ， 介 绍 了 我 的 测试 价值 观 。 作 
为 指导 原则 ， 它 们 将 贯穿 全 书 的 内 容 。 


第 2 章 讨论 了 测试 人 员 最 主要 的 工作 产 出 一 一 缺陷 报告 ， 介 绍 了 一 
批 实践 方法 ， 帮 助 测试 人 员 高 质量 地 报告 缺陷 ， 并 利用 该 过 程 来 改 
进 测 试 设计 。 


第 3 半 讨 论 作为 测试 辅助 工具 的 测试 文档 ， 介 绍 了 一 些 编写 和 维护 
文档 的 原则 和 方法 。 通 过 分 析 一 批 具体 的 测试 文档 ， 展 示 出 测试 设 
TEAS NPE AL FEE 


第 4 章 介绍 指导 测试 设计 的 模型 ， 通 过 应 用 组 合 测 试 ， 阐 述 了 如 何 
根据 项 目 语 境 来 完善 测试 模型 ， 然 后 介绍 了 测试 建 模 的 基本 原则 和 
常用 方法 。 


第 5 革 介 绍 一 个 测试 拉 术 分 类 系统 ， 以 概览 各 类 测试 搁 术 。 然 后 ， 

讨论 了 一 批 有 价值 的 测试 技术 ， 包 括 尼 发 式 测试 先知 、 漫 游 测 试 、 
快速 测试 、 情 景 测试 等 。 在 此 基础 上 ， 强 调 了 测试 人 员 应 该 多 样 地 
选择 测试 技术 ， 以 动态 地 优化 测试 的 价值 。 

第 6 章 讨 论 了 测试 开发 的 基本 分 类 ， 然 后 针对 目 动 化 测试 、 计 算 机 
辅助 测试 和 大 规模 上 自动 化 测试 ， 曾 述 了 它们 的 基本 概念 、 设 计 目 

标 、 开 发 策略 和 实 作 方 法 。 

第 7 章 讨 论 如 何 从 测试 视角 来 研究 软件 产品 和 业务 领域 ， 介 绍 了 毅 
态 分 析 、 动 态 分 析 、 关 系 人 研究 、 需 求 评 审 、 测 试 调 但 、 网 络 调 

研 、 领 域 研究 等 研究 方法 。 


第 8 章 讨 论 如 何 从 测试 视角 来 研究 项 目 环 境 ， 介 绍 了 团队 分 析 、 缺 























陷 分 机、 源码 分 析 、 构 建 分 析 、 目 动 化 测试 分 机 、 基 于 风险 的 测试 
等 研究 方法 。 

第 9 章 探 讨 测试 人 员 如 何 有 效 地 在 团队 中 工作 ， 以 及 如 何 恰当 地 实 
施 测 试管 理 。 针 对 一 些 第 见 任务 ， 如 小 组 协作 、 测 试 计 划 、 工 作 量 
估算 、 软 件 度量 等 ， 提 出 了 一 批注 重 实效 的 方法 。 

第 10 章 分 享 了 我 实施 个 人 管理 的 基本 方法 ， 包 含 时 间 管 理 、 个 人 学 
习 、 经 验 积累 、 专 业 发 展 等 。 











目标 读者 


本 书 的 主要 读者 是 具备 一 定 测试 经 验 、 想 要 进一步 提高 测试 能 力 的 测试 
工程 师 。 全 书 综合 了 测试 行家 的 专业 建议 和 我 的 实践 经 验 ， 探 讨 了 测试 
价值 观 、 测 试 设计 、 产 品 研 究 、 项 目 研究 、 团 队 协 作 、 个 人 管理 等 多 个 
方面 ， 能 够 帮助 读者 更 好 地 理解 软件 测试 ， 并 提高 实践 水 平 。 本 书 的 内 
容 面 向 广大 的 测试 社区 ， 并 不 要 求 读者 掌握 特定 的 背景 知识 。 我 希望 它 
能 够 适合 大 多 数 测 试 人 员 ， 并 通过 解决 现实 问题 来 引起 读者 的 共鸣 。 


此 外 ， 本 书 是 很 好 的 软件 工程 课程 、 软 件 测试 课程 和 测试 培训 的 参考 资 
料 ， 能 帮助 本 科 生 、 研 究 生 和 测试 学 员 更 好 地 理解 真实 的 软件 测试 。 一 
些 测试 人 员 在 工作 后 会 发 现 ， 谍 程 教材 和 培训 教程 所 描述 的 内 容 并 不 切 
合 实际 的 测试 工作 。 例 如 ,课本 中 的 测试 设计 和 执行 是 线性 实施 的 ， 真 
实测 试 流程 却 是 迁 代 展 开 的 ;缺陷 报告 党 第 是 测试 工作 的 核心 产 出 ， 教 
材 却 没有 讨论 如 何 有 效 地 管理 缺陷 报告 ; 测试 人 员 被 要 求 撰 写 文 档 ， 其 
成 果 又 被 束之高阁 ， 却 少 有 教程 讨论 如 何 编写 有 价值 的 文档 。 这 时 ， 他 
们 可 以 参考 本 书 所 提出 的 建议 ， 从 而 发 展 出 更 有 效 的 工作 策略 。 








如 何 阅 读本 书 


本 书 第 1 对 讨论 软件 测试 的 基本 事实 和 价值 观 ， 古 全 书 内 容 的 基础 ， 需 
要 首先 阅读 。 在 读 完 第 1 章 后 ， 该 者 可 以 按 任意 顺序 阅读 本 书 。 您 既 可 
以 顺序 浏览 ， 以 概观 软件 汕 试 ， 也 可 以 有 选择 地 阅读 感 兴趣 的 音节， 并 
在 阅读 的 过 程 中 参考 相关 内 容 。 


这 是 一 本 关于 实践 的 书 ， 许 多 建议 和 方法 来 自 于 实践 。 软 件 开 发 专家 
Ralph E. Johnson 指出 , “从 实践 中 来 的 知识 在 没有 实践 之 前 是 无 法 被 真 
正 理解 的 ”(practical knowledge has to be experienced to fully 

understood) ， 测 试 专家 Cem Kaner, James Bach 等 也 认为 “你 不 能 掌握 
测试 ， 除 非 你 重新 发 明 它 ”(You can't master testing unless you reinvent 
it) 。 在 阅读 过 程 中 ， 读 者 需要 积极 思考 本 书 的 方法 是 否 适 用 于 自己 的 
项 目 ， 然 后 将 恰当 的 方法 应 用 于 真实 的 测试 ， 并 认真 评估 其 效果 。 通 过 
练习 3、 评估 和 反思 ， 读 者 能 够 掌握 方法 的 原理 和 细节 ， 并 混入 自身 经 验 
和 其 他 技术 ， 以 演化 出 新 的 方法 。 坚 持 这 样 的 研究 和 创新 将 帮助 测试 人 
员 走 上 精通 之 路 。 
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第 1 草 KAMAE ih 


本 章 将 阐述 一 些 软件 测试 的 基本 观点 ， 它 们 是 全 书 的 基石 。 虽 然 它 们 并 
没有 得 到 所 有 人 的 认可 ， 但 是 我 认为 它们 反映 了 软件 测试 的 基本 事实 。 
测试 人 员 需 要 仔细 分 析 它 们 ， 并 用 于 实践 ， 才 能 有 效 地 实施 软件 测试 。 








1.1 软件 的 复杂 度 已 经 超越 了 人 的 理解 能 力 
必 应 词典 ! 是 我 常用 的 一 款 桌 面 软件 (如 图 1-1 所 示 ) ， 它 将 用 户 输入 的 


英文 单词 及 送 给 必 应 服务 器 ， 然 后 接受 服务 占有 所 返回 的 中 文 解释 ， 最 后 
将 中 译 显示 在 界面 上 。 


| 1 http://dict.bing.msn.cn 
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图 1-1 必 应 词典 


必 应 词典 是 一 个 .NET 程 序 * 。 它 会 启动 一 个 专属 线程 来 接受 服务 器 的 返 
回 结果 ， 其 托管 代码 (managed code) 的 调用 栈 类 如 代码 清单 1-1 所 示 。 








2 本 章 讨论 的 是 必 应 词典 1.7 版 。 自 2.0 版 开始 ， 必 应 词典 的 主 程序 (BingDict.exe) 不 再 是 .NET 


程序 ， 而 是 C/C++ 程序 。 


代码 清单 1-1 ” 必 应 词典 的 调用 栈 


System. 
System. 
System. 
System. 
System. 
System. 
System. 
System. 
System. 
System. 
System. 
System. 
System. 
System. 
System. 
System. 


System. 
Engkoo. 
Engkoo. 
Engkoo. 
System. 


System 


Net 
Net 
Net 
Net 
Net 
Net 
Net 
Net 
Net 
Net 
Net 
Net 
Net 
Net 
Web 
Web 
Web 
Ehc 
Ehc 
Ehc 


.UnsafeNclNativeMethods+OSSOCK.recv(IntPtr, Byte*, Int32, System. 
.Sockets.Socket.Receive(Byte[], Int32, Int32, System.Net.Sockets. 
.Sockets.Socket.Receive(Byte[], Int32, Int32, System.Net.Sockets. 
.Sockets.NetworkStream.Read(Byte[], Int32, Int32) 
.PooledStream.Read(Byte[], Int32, Int32) 
.Connection.SyncRead(System.Net.HttpWebRequest, Boolean, Boolean) 
.Connection.PollAndRead(System.Net.HttpWebRequest, Boolean) 
.ConnectStream.PollAndRead(Boolean) 

.HttpWebRequest .EndWriteHeaders (Boolean) 

.HttpWebRequest .WriteHeadersCallback(System.Net .WebExceptionStatu 
.ConnectStream.WriteHeaders (Boolean) 

.HttpWebRequest .EndSubmitRequest () 
.HttpWebRequest.CheckDeferredCallDone(System.Net.ConnectStream) 
.HttpWebRequest.GetResponse() 
.Services.Protocols.WebClientProtocol.GetWebResponse (System.Net. 
.Services.Protocols.HttpWebClientProtocol.GetWebResponse (System. 
.Services.Protocols.SoapHttpClientProtocol.Invoke(System.String, 
.Core.EhcAPI.EhcDataServiceV1.GetEditModeResult (System.String, Sy 
.Core.OnlineDictionaryV2.ProcessEditRequest (DataRequest ) 
.Core.OnlineDictionaryV2.AsyncProc() 


Threading. ThreadHelper. ThreadStart_Context (System.Object) 


. Threading. ExecutionContext.runTryCode(System.Object ) 


[HelperMethodFrame_PROTECTOBJ: 6da8f3f8 | 
System.Runtime.CompilerServices.RuntimeHelpers.ExecuteCodeWithGuarantee 
(TryCode, CleanupCode, System.Object) 

System. Threading. ExecutionContext.RunInternal (System. Threading.ExecutionCon 

System. Threading. ExecutionContext.Run(System. Threading.ExecutionContext, Sy 

System. Threading. ThreadHelper.ThreadStart() 





该 调用 栈 涉及 26 个 函数 ， 使 用 了 一 些 典型 的 开发 技术 ， 有 具体 如 下 所 示 。 


ow 


e Socket 通 信 (System.Net.Socket ) 


e HTTP 


e SOAP 


通信 (System.Net.HttpWebRequest ) 


通信 协议 


(System.Web. Services.Protocols.SoapHttpClientProtoco: 
) 


异步 调用 CEngkoo.Ehc.Core.OnlineDictionaryV2.AsyncProc 


线程 (System. Threading ) 


BEATE AC ERAN AC HE, MEFRA ta AS ah SRT ORSON AT, R Ed 
Kerr ee, WA sens Pim Cb bri) 与 服务 端 〈 必 应 服务 器 ) 的 通 
信 。 相 比 于 底层 技术 ， 这 些 程序 库 提 供 了 更 高 的 抽象 层次 。 然 而 ， 软 件 
专家 JoleSpolsky 提 出 了 经 验 法 则 “抽象 漏洞 定律 ”: “所 有 非 平 凡 的 抽象 ， 
在 某 种 程度 上， 都 存在 漏洞 。”[Spolsky02] 他 敏锐 地 指出 ， 虽 然 高 抽象 
层次 的 语言 、 程 序 库 和 框架 等 技术 提高 了 开发 者 的 生产 力 ， 使 他 们 不 必 
总 是 关心 技术 细节 ， 然 而 总 是 存在 一 些 情况 ， 需 要 开发 者 深入 撒 层 ， 去 
研究 那些 为 了 提高 生产 率 而 省 略 的 细节 问题 。 高 抽象 级 别 的 技术 虽然 可 
以 减少 编写 代码 的 时 间 ， 但 是 并 不 能 减少 开发 者 学 习 整 个 技术 栈 的 时 

间 。 只 停留 在 高 抽象 层次 的 开发 者 将 难以 解决 复杂 的 实际 问题 ， 且 有 可 
能 引入 更 多 的 设计 错误 。 


对 于 必 应 词典 ， 与 服务 器 通信 和 是 相对 简单 的 任务 ， 它 使 用 了 一 些 常见 的 
重要 技术 ， 开 发 者 完全 理解 这 些 技术 需要 付出 很 大 的 努力 。 然 而 ， 必 应 
词典 所 涉及 的 技术 细节 远 不 止 于 此 ， 它 拥有 40 多 个 线程 ， 加 载 170 多 个 
动态 链接 库 ， 拥 有 1000 多 个 Windows 句 柄 。 毫 不 夸张 地 说 ， 几 乎 没有 人 
可 以 完全 理解 它 使 用 的 所 有 技术 ， 也 无 法 和 掌握 它 任 意 时 刻 的 状态 。 


不 过 ， 软 件 技术 只 是 软件 复杂 性 的 一 部 分 。 成 功 的 软件 必须 帮助 用 户 解 
决 实际 问题 ， 使 他 们 获得 成 功 。 因 此 ， 项 目 团队 需要 研究 用 户 情景 和 领 
域 知 识 ， 然 后 创造 性 地 提出 解决 方案 ， 并 选择 合适 的 技术 来 实现 。 在 这 
个 研究 、 创 造 、 应 用 的 过 程 中 ， 项 目 团队 会 面临 更 多 的 挑战 和 困难 ， 而 
能 人 否 处 理 领 域 复 杂 度 和 设计 复杂 度 是 决定 产品 成 败 的 关键 。 例 如 ， 对 于 
必 应 词典 而 言 ， 发 送 请 求 并 接受 响应 是 相对 容易 的 ， 困 难 的 是 为 一 个 单 
词 提供 准确 的 定义 、 例 句 、 搭 配 、 同 义 词 等 信息 ， 更 困难 的 是 为 一 个 句 
子 提供 恰当 的 翻译 ， 并 流畅 地 将 它 度 读 出 来 。 这 些 困 难 的 任务 恰恰 是 用 
户 选 择 词典 软件 的 重要 参考 。 


由 以 上 讨论 不 难看 出 ， 软 件 复杂 上 度 包 仿 技术、 领域、 设计 等 多 个 方面 。 
随 看 软件 行业 的 快速 发 展 ， 软 件 复 杂 度 已 经 超越 了 个 人 的 理解 能 力 。 那 












































么 ， 


从 测试 的 角度 来 说 ， 测 试 人 员 应 该 如 何 应 对 这 一 情况 呢 ? 本 书 所 介 


绍 的 大 部 分 实践 都 是 为 了 解决 该 问题 的 。 在 这 里 ， 我 简单 陈述 一 些 基 本 
态度 和 方法 。 


对 于 复杂 的 软件 ， 任 何人 都 不 可 能 掌握 全 部 的 信息 。 如 果 测 试 人 员 
对 软件 的 理解 存在 许多 偏差 ， 他 的 测试 策略 一 定 会 包含 错误 。 为 了 
更 好 地 理解 软件 ， 他 需要 与 产品 经 理 、 程 序 员 、 领 域 专家 、 测 试 同 
事 等 协作 ， 还 需要 研究 项 目 文档 、 技 术 资料 、 领 域 专著 等 文献 ， 并 
通过 实际 测试 去 获得 第 一 手 知识 。 测 试 人 员 不 应 该 依赖 单一 的 或 局 
限 的 信息 源 ， 他 应 该 从 各 种 渠道 获得 信息 ， 多 角度 地 研究 软件 。 


由 于 软件 如 此 复杂 ， 大 多 数 测试 人 员 在 项 目 之 初 都 不 其 了 解 软 件 ， 
其 拟定 的 初始 测试 方案 或 多 或 少 都 存在 错漏 ， 有 些 甚 至 存在 严重 错 
误 。 注 重 实效 的 汕 斌 人员， 会 承认 测试 方案 是 不 完备 的 ， 并 迭代 地 
实施 测试 ， 通 过 持续 地 评估 和 反思 来 逐步 增强 测试 方案 。 


对 于 现实 世界 的 软件 ， 穷 举 测 试 是 不 可 行 的 。 任 何 实用 的 测试 技术 
都 是 基于 一 定 集 略 的 采样 ， 即 从 无 限 多 的 测试 输入 中 选择 一 个 数量 
有 限 的 子 集 ， 通 过 运行 这 批 测 试 来 评估 软件 的 整体 情况 。 考 虑 到 软 
件 的 复杂 度 ， 任 何 一 种 测试 技术 都 存在 不 能 正确 评估 软件 的 风险 。 
而 且 ， 在 测试 之 初 ， 测 试 人 员 也 很 难 预料 究竟 哪些 测试 技术 才 适 合 
当前 项 目 。 为 此 ， 测 试 人 员 应 该 积累 多 种 测试 技术 ， 综 合 运用 它 

们 ， 并 随 着 项 目 发 展 积 极 调整 测试 策略 ， 才 能 避免 重大 测试 遗漏 。 


人 们 处 理 复杂 问题 的 常用 策略 是 “分 而 治之 ”。 在 软件 领域 ， 建 立 合 
理 的 抽象 模型 是 应 对 软件 复杂 性 的 常见 方式 。 在 测试 领域 ， 测 试 人 
员 可 以 建立 产品 的 模型 来 帮助 测试 。 在 建 模 过 程 中 ， 他 们 以 当前 测 
试 目 标 为 指导 ， 和 省 略 无 关 的 产品 细节 ， 突 出 重要 的 产品 元 素 。 面 对 
简化 后 的 产品 模型 ， 可 以 更 有 针对 性 地 实施 测试 设计 。 


在 大 规模 软件 中 ， 对 于 少量 代码 的 变更 都 不 可 以 掉以轻心 ， 因 为 修 
改 者 、 代 码 评 审 者 、 测 试 者 都 很 难 预料 这 段 代 码 被 调用 的 语 境 和 执 
asin. PIO, FEF REAN RN ies COWIE. Chrome, 
Firefox) HEN S| SAW —~S FEA eS, ES es EST A RY [BIA 
测试 。 因 为 全 世界 的 网 页 千差万别 ， 很 难 预测 这 段 代 码 会 排版 何 种 
网 页 ， 也 很 难 预测 这 段 代 码 是 否 会 破坏 某 些 精心 排版 的 页 面 。 只 有 
运行 大 规模 测试 ， 才 能 保证 代码 变更 的 正确 性 。 















































。 单 插 人 的 脑力 已 经 难以 应 对 软件 的 复杂 度 了 ， 测 试 人 员 需 要 考虑 利 
用 目 动 化 测试 开发 强力 的 测试 策略 。 


1.2 ”软件 测试 是 获取 信息 的 技术 调 碍 


不 同 的 人 有 不 同 的 背景 、 不 同 的 目标 、 不 同 的 任务 ， 对 软件 测试 也 会 给 
出 不 同 的 定义 ， 因 此 不 存在 放 之 四 海 些 准 的 软件 测试 定义 。 不 过 ， 对 于 
软件 测试 工程 师 而 言 ， 我 认为 有 3 个 软件 测试 的 定义 很 有 局 发 性 。 


定义 1 : 测试 是 为 了 发 现 错误 而 执行 程序 的 过 程 [Myers79]。 


该 定义 是 Glenford J. Myers 在 1979 年 提出 的 ， 历 经 30 多 年 的 考验 ， 人 至 今 
仍 被 广泛 引用 和 讨论 。 这 是 一 句 简短 而 有 力 的 论述 ， 它 紧 扣 测试 的 基本 
活动 一 一 执行 程序 和 寻找 错误 ， 符 合 大 多 数 测试 人 员 的 工作 内 容 ， 因 此 
更 容易 获得 广泛 认可 。 此 外 ， 它 揭示 了 软件 测试 的 根本 原因 ， 即 某 些 重 
要 的 东西 可 能 出 错 [Kaner01]， 软 件 测试 束 是 要 发 现 这 些 错 误 。 


它 给 测试 人 员 的 启示 是 ， 测 试 人 员 应 该 始终 质疑 并 挑战 软件 。 有 些 测试 
任务 的 字面 内 容 类 似 于 “检查 本 次 代码 变更 是 正确 的 "， 好 像 要 求 测试 人 
员 去 验证 软件 行为 是 正确 的 。 对 于 此 类 任务 ， 测 试 人 员 应 该 假定 代码 变 
更 引入 了 未 知 的 错误 ， 然 后 想 尽 办 法 去 攻击 软件 。 即 便 测 试 人 员 最 后 的 
人 攻击 性 的 测试 过 程 也 使 这 个 结论 更 有 可 信 


定义 2 : 测试 是 一 个 获取 信息 的 过 程 ， 用 来 降低 决策 风险 
[Weinberg08]。 


Genald M. Weinberg 认 为 人 不 是 完美 的 思考 者 ， 面 对 复杂 的 情况 会 作出 
许多 错误 的 决定 。 在 采购 、 选 择 、 使 用 、 开 发 软件 的 过 程 中 ， 人 们 需要 
作出 许多 决定 。 不 完美 的 思考 导致 有 风险 的 决策 ， 可 能 造成 巨大 的 损 
失 。 他 指出 测试 可 以 获得 更 多 的 信息 ， 使 人 们 更 周全 地 思考 ， 从 而 降低 
错误 决策 的 风险 。 


该 定义 给 了 我 (一 个 测试 人 员 ) 一 系列 启示。 


。 测试 是 服务 性 的 工作 。 通 过 测试 ， 我 向 整个 团队 提供 关于 产品 质 
量 和 项 目 环 境 的 信息 ， 帮 助 他 们 作出 决定 。 


。 低 质量 的 信息 不 但 无 助 于 决策 ， 还 可 能 浪费 团队 的 时 间 ， 甚 至 作 
出 错误 的 决策 。 因 此 ， 我 应 该 总 是 提供 高 质量 的 信息 。 这 通常 体 





























现 为 及 时 地 交流 、 周 密 地 测试 、 和 仔细 地 报告 。 


团队 的 决定 可 能 与 我 的 期 望 不 一 致 ， 要 去 理解 导致 该 决定 的 其 他 
信息 。 例 如 ， 我 提交 了 一 个 严重 的 缺陷 ， 团 队 领 导 却 决 定 不 子 修 
复 。 此 时 ， 应 该 提供 更 多 的 信息 ， 据 理 力争 ， 同 时 要 去 理解 不 予 修 
复 背 后 的 原因 ， 从 而 更 好 地 理解 软件 和 项 目 。 


为 了 更 全 面 地 提供 信息 ， 除 了 运行 软件 ， 我 还 需要 更 多 的 获取 信 
BT 。 常 见 的 手段 包括 与 程序 员 交 谈 、 研 究 项 目 资 料 、 学 习 
领域 知识 、 阅 读 源 代码 、 在 调试 器 中 观察 软件 等 。 


除了 软件 缺陷 ， 测 试 还 可 以 提供 关于 项 目 环境 的 信息 。 例 如 ， 在 
项 目 过 程 中 ， 产 品 安装 总 是 遇 到 许多 问题 。 在 报告 缺陷 的 同时 ， 我 
还 可 以 同 团 队 领 导 反 馈 :“ 开 发 小 组 是 否 在 产品 安装 上 投入 了 足够 
多 的 资源 ? 因为 安装 是 任何 测试 的 先决 条 件 ， 安 朔 的 错误 将 阻碍 或 
延缓 测试 ， 测 试 小 组 建议 将 它 视 作 第 一 等 的 功能 需求 。” 


定义 3 : 软件 测试 是 一 种 技术 调查 ， 其 目的 是 辐 关 系 人 提供 有 关 产 品 
软件、 系统 或 服务 ) 质量 的 实验 信息 [Kaner06]。 


该 定义 是 Cem Kaner 教 授 提出 的 ， 他 也 认为 测试 是 一 种 服务 。 服 务 的 客 
户 古 项 目 关 系 人 ， 服 务 的 内 容 是 提供 产品 质量 的 实验 信息 。 质 量 就 是 对 
某 个 〈 某 些 ) 人 而 言 的 价值 [Gause89]。 不 同 的 人 对 于 质量 有 不 同 的 评 
判 标准 ， 对 于 信息 有 不 同 的 需求 。 常 见 的 项 目 天 系 人 包括 客户 (购买 产 
品 的 人 ) 、 用 户 《 使 用 产品 的 人 ) 、 程 序 员 、 产 品 经 理 、 运 维 人 员 、 市 
场 营 销 人 员 、 管 理 人 员 等 ， 他 们 对 信息 的 需求 是 测试 人 员 主 要 的 工作 内 
容 。 请 看 如 下 案例 。 


测试 经 理 对 测试 人 员 说 ;:“ 你 刚 提 交 了 一 个 严重 的 缺陷 ， 做 得 好 ! 
但 是 ， 现 在 临近 发 布 ， 修 复 它 的 风险 很 高 。 你 能 不 能 调查 一 下 这 个 
缺陷 在 哪些 情况 下 出 现 ， 会 影响 哪些 用 户 ， 导 致 的 最 坏 结果 是 什 
么 ? 我 们 会 根据 这 些 信 息 来 决定 是 人 否 修复 和 修复 策略 。” 


程序 员 对 测试 人 员 说 :“ 我 完成 了 一 个 补丁 的 开发 ， 下 周 将 部 车 到 
产品 环境 中 。 你 能 人 否 在 预 发 布 环境 中 部 普 它 ， 并 跑 一些 系 统 测试 ? 
它 只 是 缺陷 修复 ， 没 有 引入 新 功能 ， 应 该 不 会 破坏 当前 系统 的 运 
行 。” 


















































产品 经 理 对 测试 人 员 说 ;:“ 我 们 在 当前 版 本 中 启用 了 新 的 图 形 泻 染 
引擎 ， 能 够 明显 提高 画 质 ， 但 是 试用 者 反映 这 个 版 本 的 性 能 不 如 上 
一 版 。 你 能 不 能 做 一 些 实验 ， 看 看 当前 版 本 在 哪些 场景 中 比较 慢 ， 


慢 多 少 ?” 


运 维 人员 对 测试 人 员 说 ;:“ 一 个 用 户 在 产品 论坛 上 发 帖 说 ， 软 件 在 
启动 时 会 弹出 一 个 报错 对 话 框 ， 跟 帖 的 几 个 人 也 说 遇 到 过 相同 的 情 
况 。 我 从 没有 见 过 该 问题 ， 所 以 不 知 如 何 解决 。 你 能 不 能 看 一 下 这 
个 帖子 ， 试 着 在 测试 环境 中 复 现 ? 这 个 缺陷 在 下 一 版 已 经 修复 了 

ny?» 


以 上 案例 都 表明 ， 除 了 发 现 缺陷 外 ， 测 试 人 员 还 通过 多 种 方式 癌 不 同 的 
关系 人 提供 信息 : 回 管 理 人 员 提 供 调查 报告 ， 回 程序 员 提 供 代 码 的 质量 
反馈 ， 疝 产品 经 理 提供 技术 支持 ， 癌 运 维 人 员 提 供 已 知 缺 陷 的 信息 ， 在 
邮件 组 中 回答 用 户 提问 等 。 为 了 更 有 效 地 测试 ， 测 试 人 员 需 要 与 测试 经 
理 讨论 ， 设 定 测 试 服务 的 优先 级 ， 为 关系 人 提供 满足 其 要 求 的 高 质量 的 
信息 。 例 如 ， 提 供给 测试 经 理 的 信息 要 面 问 项 目 风 险 ， 提 供给 程序 员 的 
言 恩 要 包含 更 多 的 技术 细节 ， 提 供给 产品 经 理 的 信息 要 侧重 于 用 户 体验 
和 产品 价值 ， 提 供给 运 维 人 员 的 信息 要 建议 可 能 的 解决 方案 。 


此 外 ，Cem Kaner 还 强调 软件 测试 的 主要 工作 是 技术 调查 ， 即 以 职业 的 
态度 、 专 业 的 技能 对 产品 的 未 知 领域 进行 探索 。 与 地 质 勘 查 、 罪 案 侦 

Wa aaa a a a 
动 性 。 


。 测试 应 该 系统 地 调查 被 测试 对 象 。 测 试 人 员 需 要 对 产品 进行 周密 
的 分 析 与 检查 。 地 质 勤 得 结束 后 ， 勤 得 人 员 会 给 出 详细 的 地 质 图 ， 
以 搬 绘 该 地 区 的 全 貌 。 测 试 结束 后 ， 测 试 人 员 也 应 该 全 面 掌握 被 测 
试 对 象 的 情况 。 


。 测 试 所 提供 的 信息 应 该 来 自 科学 实验 和 中 立 观察 。 在 真实 和 客观 
的 基础 上 ， 包 含 合理 的 推测 和 建议 。 


。 刑侦 人 员 会 利用 多 种 方法 ， 从 各 个 信息 源 收集 情报 ， 因 为 很 难 预 
测 何 处 会 有 重大 发 现 。 当 突破 性 情报 浮现 时 ， 他 们 会 转移 工作 重 
扩 ， 顺 看 新 线索 紧 退 不 舍 。 测 试 人 员 也 需要 综合 运用 多 种 搁 术 和 工 
其， 去 探 完 新 的 信息 ， 并 根据 新 友 现 及 时 调整 测试 方 同 。 























。 优秀 的 潜水 员 既 能 够 通过 浮 淤 去 游历 宽阔 的 水 域 ， 也 可 以 利用 水 
肺 潜水 去 探索 深海 水 域 [DeMarco08] 。 测 试 人 需要 交 蔡 使 用 广度 调 
查 和 深度 调查 ， 从 而 更 有 效 地 提供 信息 。 广 度 调 碍 有 助 于 发 现 高 风 
险 的 区 域 ， 深 度 调 碍 能 够 提供 详细 的 信息 ， 以 文 持 项 目 关 系 人 作出 
正确 的 决定 。 





1.3 ”测试 是 达 代 过 程 

测试 是 一 个 贯穿 项 目 周期 的 调查 过 程 。 为 了 阐述 技术 细节 ， 许 多 测试 文 
献 只 讨论 了 该 过 程 的 一 小 部 分 。 因 此 ， 它 们 无 意 中 将 测试 描绘 为 一 个 线 
性 过 程 :测试 人 员 获 得 测试 任务 ， 对 被 测 软件 进行 分 析 ， 制 订 测 试 计 
划 ， 确 定 测试 用 例 ， 然 后 .…… 没 有 “然后 ”了 ， 因 为 大 多 数 文献 只 写 完 第 
一 轮 测试 设计 便 结束 了 。 


但 是 测试 并 不 是 一 个 线性 过 程 。《 计 算 机 软件 测试 》[Kaner01] 第 1 草 的 
目录 更 符合 测试 人 员 的 工作 方式 。 


1. 第 一 个 测试 周期 
1.1 第 1 步 : 从 显而易见 的 简单 测试 开始 
1.2 第 2 步 : 记录 还 需要 测试 什么 
1.3 ”第 3 步 : 检查 有 效用 例 并 观察 发 生 了 什么 
1.4 第 4 步 : 做 一 些 “ 快 速 ? 测 试 
1.5 第 5 步 : 总 结对 程序 和 问题 的 认识 

2. 第 二 个 测试 周期 


2.1 第 1 步 : 在 进行 任何 测试 之 前 应 该 仔细 评审 对 问题 报告 的 反馈 ， 
以 确定 哪些 部 分 值得 深入 测试 


2.2 第 2 步 : 评审 对 不 予 修 复 的 问题 的 意见 ， 它 们 可 能 建议 进一步 的 
测试 


2.3 ”第 3 步 : 找 出 上 次 的 测试 笔记 ， 加 入 新 笔记 ， 并 开始 测试 
3. 后 续 测 试 周期 中 可 能 会 发 生 的 事情 


该 目录 列举 了 两 个 测试 周期 中 测试 人 员 的 典型 活动 。 测 试 周 期 是 一 个 相 
对 于 测试 人 员 而 言 的 概念 ， 它 包含 获得 可 测试 的 新 版 本 、 测 试 、 报 告 问 











题 〈 即 bug) 、 反 思 总 结 等 活动 。 无 论 项 目 采 用 何 种 开发 模型 ， 测 试 人 
员 总 是 一 个 版 本 接 一 个 版 本 地 测试 ， 其 测试 活动 总 是 迭代 向 前 的 : 测试 
版 本 1 -提交 缺陷 ,修复 缺陷 测试 版 本 2 提交 新 缺陷 修复 新 缺陷 > 
测试 版 本 3 二 ..…..….…. 


即便 在 测试 周期 内 部 ， 测 试 活动 也 是 达 代 的 。 以 “第 一 个 测试 周期 ”为 

例 ， 测 试 人 员 不 熟悉 软件 ， 所 以 第 1 步 是 运行 一 些 简单 的 测试 ， 来 了 解 
软件 的 行为 。 在 第 2 步 和 第 3 步 ， 测 试 人 员 根 据 第 1 步 获得 的 信息 设计 了 
更 多 的 测试 ， 并 记录 在 案 。 他 使 用 了 一 些 经 典 的 训 试 设计 方法 ， 如 边界 
值 分 析 和 等 价 类 划分 。 在 第 4 步 ， 他 使 用 了 一 些 启发 式 测试 方法 对 软件 
进行 快速 攻击 。 在 第 5 步 ， 他 对 被 测 软件 和 测试 案 略 进行 了 反思 ， 以 控 
掘 软件 的 风险 和 测试 的 不 足 。 可 见 ， 人 整个 测试 过 程 是 螺旋 癌 上 的 : 初始 
的 汕 试 提 供 了 正式 测试 设计 所 需 的 信息 ; 正式 的 测试 用 例 较 系统 地 检 碍 
了 系统 ; 当 正 式 测试 揭示 出 软件 风险 时 ， 快 速 测 试 机 动 地 探索 相关 领 

域 ， 以 确定 是 否 存 在 严重 的 问题 ， 并 为 后 续 的 正式 测试 提供 信息 。 


后 续 的 测试 周期 会 利用 先前 测试 所 产生 的 信息 。 以 “第 二 个 测试 周期 ”为 
例 ， 测 试 人 员 分 析 对 问题 报告 的 反馈 ， 了 解 团 队 中 其 他 人 对 软件 行为 的 
看 法 。 利 用 这 些 新 信息 ， 他 可 以 确定 测试 的 重点 。 他 还 会 参考 第 一 个 周 
期 的 测试 笔记 ,但 是 不 会 照 本 宣 科 地 重新 执行 一 按 ， 而 是 利用 新 信息 设 
计 新 的 测试 。 从 这 个 角度 来 看 ， 测 试 类 似 于 移动 的 匣 舰 向 妨 一 艘 移动 的 
军舰 开火 。 开 火 的 军舰 在 移动 是 因为 测试 人 员 对 被 测 软件 的 认识 在 不 断 
地 增强 ， 他 知道 哪些 测试 不 太 容易 找到 错误 ， 哪 些 测 试 更 可 能 找到 问 
题 。 目 标 军舰 在 移动 是 因为 程序 员 在 持续 提交 新 功能 和 修复 缺陷 ， 导 致 
软件 也 在 不 停 地 变化 。 因 此 ， 测 试 集 略 也 需要 保持 动态 变化 ， 使 得 炮 口 
一 直 有 瞄准 飞 驰 的 目标 。 


迭代 的 最 大 优 氮 是 能 够 快速 获得 测试 设计 的 反馈 ， 从 而 逐步 完善 测试 设 
计 。 程 序 员 已 经 认识 到 软件 开发 过 程 会 引入 大 量 的 错误 ， 应 该 利用 快速 
反馈 来 及 现 设 计 中 的 错误 。 因此， 测试 驱动 开发 、 结 对 编程 、 持 续集 
成 、 上 自动 化 测试 等 技术 得 到 了 普遍 认可 和 应 用 。 测 试 设计 与 软件 设计 相 
似 ， 都 是 高 乔 力 的 创造 性 工作 ， 也 可 能 会 产生 错误 的 设计 。 测 试 人 员 也 
需要 快速 获得 测试 设计 的 反馈 ， 有 意识 地 利用 迭代 可 以 为 此 更 定 恨 好 的 


基础 。 
































1.4 


测试 人 员 的 工作 效率 取决 于 他 对 软件 和 项 目 





的 理解 ， 而 不 是 他 掌握 的 测试 技术 


我 曾经 长 期 测试 一 个 网 络 应 用 。 当 我 离开 这 个 项 目 时 ， 测 试 经 理 安排 一 
个 测试 员工 来 接 莹 我 。 他 刚刚 入 职 ， 对 被 测 软件 和 业务 领域 都 不 了 解 ， 
在 工作 中 过 到 了 许多 困难 。 在 我 加 入 新 团队 后 ， 我 还 通过 电话 数 次 回答 
了 他 的 问题 。 后 来 ， 我 反思 了 当时 的 情况 。 作 为 一 个 测试 工程 师 ， 我 的 
工作 效率 明显 优 于 接 葵 我 的 同事 ， 主 要 原因 包括 以 下 几 点 。 


我 理解 产品 。 我 知道 它 的 业务 目标 ， 了 解 它 通过 什么 方法 去 实现 
目标 。 因 此 ， 我 能 够 快速 地 制定 测试 方案 。 


我 理解 用 户 的 期 望 。 我 知道 哪些 功能 绝对 不 能 出 错 ， 需 要 仔细 测 
试 ， 也 知道 哪些 功能 允许 一 些 瑕 疫 ， 即 便 出 错 ， 也 可 以 在 下 一 个 版 
本 通 肖 在 3 个 月 之 后 发 布 ) 中 修复 。 因 此 ， 我 能 够 更 好 地 分 配 测 
试 时 间 。 


我 理解 产品 的 架构 。 通 过 阅读 产品 源 代码 ， 我 知道 哪些 模块 容易 
出 现 哪些 责 陷 。 因 此 ， 我 可 以 针对 个 同 的 模块 采用 有 和 针对 性 的 测试 


策略 


我 知晓 如 何 回避 肖 费 时 间 却 没有 收益 的 任务 。 例 如 ， 我 曾经 尝试 
用 目 动 化 测试 用 例 去 调试 用 户 界面 ， 但 是 发 现 此 类 目 动 化 测试 很 不 
稳定 ， 需 要 很 高 的 维护 代价 ， 却 不 能 发 现 错误 。 于 是 ， 我 只 为 Web 
服务 编写 目 动 化 测试 用 例 ， 用 手工 测试 来 测试 用 户 界 面 。 

我 了 解 产品 元 素 和 项 目 团队 。 当 出 现 缺陷 时 ， 我 知道 如 何 阅 读 系 


统 日 志 发 掘 蛛丝马迹 ， 当 我 遇 到 困难 时 ， 我 知道 问 哪 位 程序 员 或 测 
试 人 员 求 助 。 因 此 ， 我 可 以 深入 挖掘 并 快速 推进 。 


我 在 原先 的 团队 工作 了 很 长 的 时 间 ， 与 同事 建立 了 民 好 的 关系 。 
当 我 提出 一 些 可 测试 性 的 建议 时 ， 比 较 容易 得 到 程序 员 的 支持 。 




















从 以 上 几 点 不 难看 出 ， 我 能 够 更 有 效 地 测试 ， 其 主要 原因 不 是 我 掌握 更 
多 的 测试 技术 ， 而 是 我 更 了 解 软 件 产 品 、 业 务 领域 和 项 目 环境 。 通 过 逐 
点 分 析 ， 可 以 得 到 如 下 局 示 。 


产品 是 一 种 解决 方案 ， 如 果 没 有 解决 问题 ， 它 束 是 无 用 的 
[Kaner12]。 测 试 人 员 需 要 了 解 软 件 产 品 和 业务 领域 ， 才 能 设计 有 效 
的 测试 。 


测试 是 一 种 信息 服务 ， 要 了 解 服务 对 象 的 需求 。 如 果 用 户 不 能 容 妨 
茶 些 错误 ， 测 试 人 员 束 需要 仔细 测试 相关 功能 ， 如 果 用 户 对 一 些 瑕 
间 并 不 在 意 ， 测 试 人 员 就 不 必 在 此 花费 过 多 的 时 间 。 只 有 了 人 解 服务 
对 象 的 优先 级 ， 才 能 更 好 地 设 定 测试 工作 的 优先 级 。 


不 同 的 模块 采用 不 同 的 拉 术 ， 拥 有 不 同 的 典型 错误 。 只 有 了 解 软件 
实现 ， 才 能 设计 差异 化 且 有 针对 性 的 测试 用 例 。 


测试 设计 可 能 包 仿 错误， 测试 人 员 需 要 从 错误 中 吸取 经 验 和 教训 ， 
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当 测 试 工作 过 到 困难 时 ， 测 试 人 员 需 要 知道 从 哪里 寻找 信息 。 了 解 
被 测 产品 和 测试 工具 能 够 提供 的 信息 ， 了 解 哪 位 同事 知道 更 多 内 
幕 ， 会 节省 时 间 。 


“人 脉 ” 有 时 候 会 极 大 地 提高 测试 人 员 的 工作 效率 。 测 试 人 员 需 要 与 
程序 员 和 测试 同事 保持 民 好 的 关系 。 达 成 协作 关系 的 关键 之 一 是 测 
试 人 员 能 够 为 同事 们 提供 高 质量 的 信息 服务 。 


在 职业 生涯 中 ， 测 试 人 员 总 是 会 遇 到 新 的 软件 、 项 目 和 团队 。 他 应 
E A 
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实施 蜗 效 的 测试 需要 很 多 条 件 。 熟 练 地 和 掌握 测试 技术 是 一 个 很 重要 的 因 
素 ， 但 很 少 会 是 决定 性 的 因素 。 只 有 充分 掌握 软件 产品 和 项 目 环境 ， 测 
试 技术 才能 找到 大 放 光 彩 的 舞 合 。 








1.5 小 结 

本 音 介 绍 了 软件 测试 的 基本 价值 观 。 作 为 指导 原则 ， 它 们 将 贯穿 全 书 。 
软件 复杂 性 来 自 于 领域 、 设 计 、 技 术 、 开 发 过 程 等 多 个 方面 。 为 了 
应 对 高 度 复杂 且 持 续 变动 的 软件 ， 测 斌 人 员 需 要 从 多 个 来 源 收集 信 
息 ， 并 在 项 目 全 程 收集 对 测试 设计 的 反馈 。 

软件 测试 的 基本 目标 是 发 现 软件 错误 ， 并 予以 修正 。 

软件 测试 是 一 种 信息 服务 。 以 技术 调查 和 科学 实验 的 方式 实施 软件 
测试 ， 能 够 提供 高 质量 的 服务 。 

无 论 测试 人 员 是 否 意识 到 ， 软 件 测 试 都 是 迭代 展开 的 。 有 意识 地 利 
用 软件 测试 的 迭代 性 ， 可 以 更 好 地 测试 。 

高 效 的 软件 测试 要 求 测试 人 员 理 解 软 件 和 项 目的 方方面面 。 学 习 与 
实践 要 伴随 测试 全 程 。 














第 2 章 缺陷 报告 


在 许多 项 目 环境 中 ， 缺 陷 报告 是 测试 人 员 最 主要 的 工作 产 出 ， 是 将 测试 
人 员 和 项 目 团队 广泛 联系 在 一 起 的 纽 融 。 


。 程序 员 会 阅读 缺陷 报告 ， 以 了 解 缺 陷 的 症状 和 重 现 步骤 。 好 的 缺陷 
报告 能 帮助 他 快速 地 定位 问题 ， 差 的 缺陷 报告 会 浪费 他 的 调试 时 
间 。 


产品 经 理会 阅读 缺陷 报告 ， 以 了 解 缺 陷 的 症状 和 严重 性 。 好 的 缺陷 
报告 准确 地 传递 了 用 户 质量 的 信息 ， 帮 助 他 设 定 修复 优先 级 ; 差 的 
人 
为 “不 予 修复 ”。 


在 一 些 团 队 ， 产 品 经 理 、 开 发 经 理 和 测试 经 理会 举行 缺陷 评审 会 
议 ， 对 缺陷 是 否 修复 进行 "最终 判决 "。 好 的 缺陷 报告 会 提高 会 议 效 
率 ; 将 的 缺陷 报告 会 降低 会 议 效率 ， 甚 全 让 评审 小 组 作出 错误 的 诀 
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。 在 一 些 大 型 项 目 中 ， 缺 陷 报 告 是 测试 小 组 以 外 的 人 了 解 测 试 人 员工 
作 的 主要 途径 。 他 们 会 根据 缺陷 报告 的 质量 评价 测试 人 员 的 工作 能 
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效率 和 测试 人 员 的 个 人 声誉 。 编 写 高 质量 的 缺陷 报告 是 测试 人 员 最 重要 
的 基本 功 之 一 。 本 章 将 介绍 一 些 编写 和 处 理 缺 陷 报告 的 方法 ， 帮 助 测试 
人 员 更 有 效 地 与 项 目 团队 交流 。 














2.1 报告 缺陷 是 为 了 让 缺陷 得 到 修复 


报告 缺陷 的 首要 目标 是 “使 正确 的 缺陷 得 到 修复 [Kaner08a]。 所 谓 “ 正 确 
的 缺陷 *， 是 那些 值得 修复 的 错误 、 局 限 、 失 败 等 降低 软件 价值 的 问 

题 。 测 试 人 员 面 临 的 挑战 “对 软件 价值 的 影响 * 和 “是否 值得 修复 ”都 是 主 
观 判 断 ， 不 同 的 人 基于 不 同 的 背景 和 立场 很 可 能 得 出 不 同 的 结论 。 测 试 
人 员 需 要 说 服 程序 员 和 缺陷 评审 小 组 ， 使 他 们 相信 修复 当前 的 缺陷 是 正 
确 的 。 因 为 测试 人 员 通 疝 不 负责 修复 缺陷 ， 为 了 使 缺陷 得 到 修复 ， 需 要 
提交 和 维护 高 质量 的 缺陷 报告 ， 将 正确 的 信息 传递 给 团队 。 这 需要 测试 
人 员 持 续 地 努力 和 长 期 地 积累 。 在 此 过 程 中 ， 以 下 策略 会 有 所 帮助 。 


。 清楚 地 说 明 此 间 题 对 用 户 价 值 的 危害 。 

。 提供 尽 可 能 多 的 技术 信息 ， 方 便 程序 员 调 试 。 
。 尽早 提交 缺陷 报告 。 

。 报告 发 现 的 所 有 缺陷 ， 即便 有 些 缺 陷 难 以 重 现 。 


第 一 ， 缺 陷 报告 要 重点 说 明 该 缺陷 对 用 户 价值 的 损害 。 许 多 软件 项 目 都 
进度 紧张 、 资 源 有 限 ， 项 目 团队 修复 一 个 严重 的 缺陷 ， 可 能 需要 考虑 多 
个 因素 。 例 如 ， 修 复 该 缺陷 可 能 需要 2 天 ， 而 实现 一 个 用 户 建议 的 新 功 
能 也 需要 2 天 ， 是 修复 缺陷 还 是 增加 功能 对 用 户 更 有 价值 ? 目前 ， 软 件 
即将 发 布 ， 修 复 该 缺陷 会 不 会 引入 新 的 问题 ?为 了 修复 该 缺陷 而 推迟 发 
布 是 否 值得 ?这些 问 题 的 核心 因素 是 该 缺陷 是 否 显著 地 降低 了 软件 对 用 
户 的 价值 ， 以 至 于 开发 人 员 与 测试 人 员 愿意 占用 开发 活动 的 时 间 、 冒 着 
引入 更 多 缺陷 的 风险 来 修复 它 。 如 果 缺 陷 报告 没有 写 清楚 缺陷 的 影响 ， 
产品 经 理 或 缺陷 评审 小 组 有 可 能 会 错误 地 认为 这 是 一 个 不 重要 的 问题 ， 
并 将 它 标记 为 "不 予 修复 "。 


为 了 让 缺陷 评审 者 了 解 真 实 的 情况 ， 测 试 人 员 需 要 从 多 个 角度 思考 如 何 
有 效 地 传递 缺陷 信息 。 


。 测试 人 员 在 提 区 缺陷 时 最 好 使 用 自制 的 缺陷 模板 。 缺 陷 模 板 为 一 
些 常 用 缺陷 字段 提供 了 默认 值 ， 减 少 了 输入 的 工作 量 。 更 重要 的 
和 是， 缺陷 模板 可 以 提供 缺陷 报告 的 结构 ， 提 醒 测 试 人 员 输 入 必要 的 
























































内 容 。 例 如 ， 缺 陷 模 板 可 以 包含 用户 影响 一人， 提醒 训 试 人 员 输 
入 缺陷 对 于 用 户 价值 的 危害 。 如 果 缺 陷 对 用 户 的 影响 非常 明显 ， 测 
试 人 员 可 以 忽略 该 节 ， 但 这 是 测试 人 员 思 考 后 的 决定 ， 而 不 是 由 于 
忙碌 忘记 填写 。 


要 为 使 用 软件 的 人 “仗义 执 言 ”。 测 试 人 员 很 可 能 是 第 一 个 完整 使 
用 软件 的 人 ， 能 够 发 现 一 些 用 户 在 日 常 使 用 中 遇 到 的 问题 。 菏 些 问 
题 不 是 严格 意义 上 的 计算 错误 《例如 菏 个 常用 按钮 没有 键盘 快捷 

BE) ， 东 些 问 题 来 目 于 开发 技术 的 限制 〈 例 如 32 位 程序 只 能 利用 

2GB 的 内 存 ， 一 些 需 要 大 量 内 存 的 操作 可 能 因为 该 限制 而 失败 ) ， 
某 些 问题 在 以 前 的 版 本 中 也 存在 。 无 论 如 何 ， 这 些 问题 使 用 户 受 到 
挫折 ， 降 低 了 软件 对 他 们 的 价值 。 测 试 人 员 需 要 报告 这 些 问题 ， 并 
阐述 它们 给 用 户 带 来 的 困扰 。 


要 “放大 格局 ?"， 软 件 的 “关系 人 ”还 包括 程序 员 、 测 试 人 员 、 运 维 
An, HEARS 。 如 果 软 件 存在 一 些 问 题 或 局 限 ， 使 得 他 们 的 
生活 变 得 困难 ， 测 试 人 员 也 应 该 提交 缺陷 报告 。 例 如 ， 如 果 测 试 人 
员 发 现 被 测 的 网 络 服务 没有 记录 足够 的 日 志 ， 以 致 整个 业务 流程 类 
似 于 一 个 黑 盒 ， 测 试 检 查 变 得 很 困难 。 他 应 该 报告 该 问题 ， 建 议 服 
务 日 志 还 需要 记录 哪些 内 容 ， 并 解释 理由 。 测 试 人 员 可 以 指出 ， 从 
长 远 看 更 多 的 日 志 不 但 能 够 帮助 测试 人 员 更 快 地 发 现 错误 ， 而 且 有 
利于 运 维 人 员 发 现在 线 系统 的 问题 ， 也 有 利于 程序 员 根 据 日 志 定 位 
问题 ， 从 而 提高 整个 团队 的 效率 。 


为 了 提供 有 说 服 力 的 证 据 ， 测 试 人 员 可 能 需要 做 一 些 “ 研 究 ”。 例 
如 ， 测 试 人 员 发 现 一 个 杀毒 软件 兼容 性 问题 一 一 在 被 测 软件 执行 特 
定 操作 时 ， 某 个 杀毒 软件 会 报告 发 现 病 毒 。 为 了 评估 该 问题 的 严重 
性 ， 他 需要 分 析 该 操作 的 重要 性 和 使 用 频率 ， 可 能 的 手段 包括 阅读 
规格 说 明 、 碍 询 用 户 日 志 、 询 问 产 品 经 理 等 。 此 外 ， 他 还 可 以 通过 
搜索 引擎 得 询 该 杀毒 软件 的 市 场 份额 ， 估 算 有 多 少 用 户 可 能 遇 到 该 


问题 。 


测试 人 员 还 可 以 寻找 “专家 ” 文 持 。 所 谓 专 家 是 受到 整个 项 目 团队 
认可 和 信任 的 人 ， 他 的 意见 会 有 更 大 的 影响 力 。 他 可 能 是 一 位 资深 
员工 ， 经 历 了 多 次 产品 发 布 ， 也 可 能 是 一 位 领域 专家 ， 对 业务 领域 
有 深刻 的 理解 ， 还 可 能 是 一 位 用 户 代 表 ， 能 够 提供 真实 的 用 户 反 
饥 。 测 试 人 员 可 以 与 他 讨论 所 发 现 的 问题 ， 获 得 他 的 文 持 。 如 宁 他 
可 以 在 缺陷 报告 中 写 下 有 份量 的 评论 ， 或 在 缺陷 评审 会 议 上 文 持 修 





















































复 问 题 ， 该 缺陷 将 很 可 能 得 到 修复 。 


第 二 ， 人 缺陷 报告 应 该 提供 尽 可 能 多 的 信息 ， 以 便 程 序 员 修复 缺陷 。 人 缺陷 
不 被 修复 或 没有 被 及 时 修复 的 常见 原因 是 程序 员 没 能 重 现 该 缺陷 。 对 于 
难以 重 现 的 问题 ， 测 试 人 员 应 该 收集 并 报告 尽 可 能 多 的 信息 ， 例 如 有 可 
能 重 现 缺陷 的 操作 步 又、 屏幕 截图 、 视 频 录 像 、 所 使 用 的 数据 文件 、 软 
件 的 内 存 转 储 、 追 踩 日 过、 网 络 通信 记录 等 。 软 件 训 试 是 技术 调 碍 ， 缺 
陷 报 告 作为 调查 结果 ， 应 该 包含 业务 层面 的 信息 ， 让 缺陷 评审 者 了 解 软 
件 价值 的 损失 ， 还 应 该 包含 技术 层面 的 信息 ， 帮 助 程序 员 更 快 地 修复 问 


je 


第 三 ， 缺 陷 越 早 航 报告 ， 越 有 可 能 被 修复 。 当 项 目 临 近 发 布 时 ， 项 目 团 
队 会 对 代码 变更 采取 谨慎 的 态度 ， 因 为 最 后 时 刻 的 代码 修改 可 能 会 引入 
一 些 新 的 缺陷 ， 而 短 时 间 的 测试 不 能 发 现 这 些 缺 陷 。 因 此 ， 缺 陷 评审 会 
议和 常常 因为 风险 较 高 而 拒绝 修复 一 些 缺陷 。 这 样 的 情况 我 遇 到 过 多 次 ， 
如 琳 能 早 一 些 提 有 交 访 缺陷， 哪怕 是 早 一 个 星期 ， 它 就 能 得 到 修复 。 这 给 
我 两 个 局 示 : 一 是 要 第 一 时 间 提 交 发 现 的 缺陷 ， 二 是 在 规划 测试 时 ， 要 
使 测试 条 略 能 够 尽早 地 发 现 严 重 的 缺陷 。 


第 四 ， 为 了 提供 完整 的 信息 ， 测 试 人 员 应 该 报告 发 现 的 所 有 问题 。 这 并 
不 意味 着 提交 重复 的 信息 。 在 提交 缺陷 报告 之 前 ， 训 试 人 员 可 以 碍 询 一 
下 缺陷 管理 系统 ， 了 解 被 测 功 能 有 哪些 活跃 的 缺陷 。 如 果 其 他 测试 人 员 
己 经 提交 了 这 个 缺陷 ， 那 么 测试 人 员 可 以 跳 过 报告 ， 继 续 测 试 。 我 建议 
测试 人 员 在 碍 询 相 似 缺 史上 不必 人 花费 太 多 的 时 间 ， 只 要 避免 明显 的 重复 
提交 即 可 ， 因 为 重复 提交 的 开销 远 小 于 遗漏 报告 的 代价 。 而 且 ， 程 序 员 
通常 能 够 快速 地 链接 根源 相同 的 两 份 缺 陷 报 告 ， 将 它们 “并 条 ”处 理 。 


有 时 ， 软 件 的 表现 出 乎 测试 人 员 的 预料 ， 但 是 他 并 不 能 确定 这 一 定 是 个 
缺陷 。 这 说 明 测 试 人 员 对 软件 的 设计 和 实现 还 有 不 了 解 的 地 方 ， 他 应 该 
将 此 疑惑 视 为 一 个 学 习 的 机 会 ， 通 过 阅读 文档 、 咨 询 同 事 等 方法 来 获得 
解答 。 然 而 ， 在 测试 时 间 紧 张 的 情况 下 ， 深 入 调 碍 是 不 适宜 的 。 如 宁 不 
能 立即 获得 解答 ， 训 试 人 员 应 该 提交 缺陷 报告 ， 让 产品 经 理 或 缺陷 评审 
会 议 来 回答 。 


在 提交 缺陷 报告 时 ， 测 试 人 员 面 临 的 最 大 挑战 是 那些 难以 重 现 的 缺陷 。 
大 多 数 测试 人 员 都 有 这 样 的 经 历 : 测试 执行 时 ， 无 意 中 发 现 一 个 缺陷 ， 
于 是 再 测试 一 过 ， 来 确认 重 现 步 又， 这 时 该 缺陷 却 “ 神 奇 地 ?消失 了 。 这 
说 明 某 些 未 知 的 因素 在 起 作用 ， 它 们 改变 了 软件 的 行为 ， 使 得 缺陷 不 能 



































重 现 。 这 时 ， 测 试 人 员 的 任务 是 用 各 种 手段 去 发 现 这 些 因 系 ， 让 缺陷 重 
现 。 不 辛 的 是 ， 重 现 缺 陷 的 努力 常 弟 会 失败 。 面 对 这 种 情况 ， 测 试 人 员 
仍旧 应 该 提 区 缺陷 报告 。 他 应 该 在 报告 中 坦承 该 缺陷 不 能 稳定 重 现 ， 然 
后 报告 他 知道 的 所 有 信息 ， 例 如 为 了 重 现 缺陷 做 了 哪些 实验 、 使 用 了 哪 
些 实验 数据 、 实 验 结果 如 何 、 对 于 缺陷 根源 的 猜测 等 。 











2.2 A E KORRA R H T A E A 


测试 是 一 个 迭代 的 过 程 ， 缺 陷 报告 是 其 中 的 一 环 。 它 既是 一 段 测 试 的 结 
束 ， 也 是 一 段 测试 的 开始 。 测 试 人 员 应 该 让 缺陷 报告 和 测试 执行 相互 文 
持 ， 证 缺陷 报告 来 推动 更 深入 的 测试 ， 让 高 质量 的 测试 产生 高 质量 的 缺 


陷 报告 。 
2.2.1 分 配 测试 时 间 
在 提交 缺陷 报告 时 ， 测 试 人 员 常常 需要 考虑 如 何 使 用 接 下 来 的 测试 时 


间 。 


。 是 继续 调查 当前 缺 隐 ， 以 提供 更 简化 的 重 现 步 又， 还 是 开始 新 的 测 
试 ? 该 问题 需要 测试 人 员 平 衡 调查 时 间 和 测试 时 间 。 用 更 多 时 间 去 
调查 可 能 提供 更 清晰 的 缺陷 报告 ， 从 而 简化 缺陷 评审 者 和 修复 者 的 
工作 ; 用 更 多 时 间 去 训 试 可 能 更 早 地 发 现 其 他 缺陷 。 


。 是 继续 测试 该 功能 (或 情景 ) ， 还 是 测试 其 他 功能 《或 情景 ) ? 该 
问题 需要 测试 人 员 平衡 所 提供 信息 的 深度 和 广度 。 继 续 测试 可 能 提 
供 更 深层 次 的 信息 ， 转 移 测 试 可 能 提供 更 广泛 的 信息 。 


这 两 个 问题 的 本 质 是 测试 时 间 是 重要 但 有 限 的 资源 ， 测 试 人 员 需 要 合理 
地 分 配 该 资源 ， 以 提供 “足够 好 ”的 信息 。“ 足 够 好 ”是 指 “ 有 足够 的 信息 
可 供 客户 作出 好 的 决策 "[Kaner01]。 测 试 服务 拥 有 许多 客户 ， 他 们 对 “ 足 
够 的 信息 ”有 不 同 的 期 望 。 例 如 ， 程 序 员 希望 缺陷 报告 尺 可 能 详细 ， 测 
试 经 理 则 希望 能 够 更 早 地 测试 软件 的 方方面面 。 测 试 人 员 需 要 综合 考虑 
各 方面 因 系 ， 作 出 合理 的 判断 。 


由 于 软件 项 目 千 差 万 别 ， 并 不 存在 普遍 适用 的 分 配 测试 时 间 的 指导 方 
和 案 ， 但 存在 一 些 启 发 式 方法 来 简化 问题 。 测 试 人 员 可 以 考虑 使 用 “时 间 
盒 "来 管理 自己 的 时 间 。 


例如 ， 测 试 人 员 用 一 个 大 型 的 数据 文件 发 现 了 一 个 软件 错误 。 他 认为 删 
去 文件 中 的 一 些 无 关 数 据 ， 也 能 重 现 该 错误 。 精 简 的 数据 文件 会 使 缺陷 
报告 更 直接 明了 ， 但 是 需要 投入 时 间 。 这 时 ， 他 可 以 分 配 一 个 10 分 钟 的 
时 间 盒 ， 专 门 用 于 简化 数据 文件 。 在 这 个 时 间 盒 内 ， 他 可 能 获得 了 能 够 














重 现 错误 的 最 小 文件 ， 也 可 能 没有 进展 。 无 论 如 何 ， 在 时 间 耗 尽 后 ， 他 
停止 调查 ， 将 那 时 的 数据 文件 作为 缺陷 报告 的 附件 提交 。 


原则 上 ， 测 试 人 员 应 该 提供 “无 元 余 信息 ”的 缺陷 报告 。 但 是 ， 在 紧张 的 
测试 进度 下 ， 测 试 人 员 只 能 用 有 限 的 时 间 去 打磨 测试 信息 。 一 般 情 况 
下 ，10 分 钟 的 时 间 盒 能 让 测试 人 员 付 出 足够 的 努力 ， 获 得 恰当 的 进展 。 
人 花费 更 多 的 时 间 很 可 能 降低 了 团队 效率 ， 因 为 了 解 实现 细 市 的 程序 员 更 
适合 调查 复杂 的 错误 。 


当 项 目 进 度 不 紧张 时 ， 测 试 人 员 可 以 考虑 为 东 个 有 趣 的 缺陷 分 配 一 个 长 
度 为 30~60 分 钟 的 时 间 盒 ， 来 彻底 研究 缺陷 的 来 龙 去 脉 。 在 这 段 时 间 

内 ， 他 进行 “刻意 的 练习 ”， 通 过 调查 该 缺陷 来 学 习 产品 的 细节 、 测 试 工 
具 的 功能 、 调 试 技 术 的 应 用 等 。 该 时 间 盒 的 主要 目的 是 通过 一 个 真实 的 
采 例 ， 来 学 习 知 识 并 练习 技能 。 经 过 几 次 这 样 的 练习 ， 他 可 以 在 10 分 钟 
的 时 间 盒 内 提供 更 多 的 信息 。 总 体 上 ， 正 常 时 间 盒 〈 短 时 间 盒 ) 是 为 了 
提供 更 好 的 缺陷 报告 ， 长 时 间 盒 是 为 了 提高 测试 人 员 的 知识 与 技能 。 


关于 是 否 继续 测试 的 问题 ， 测 试 人 员 也 可 以 采用 时 间 盒 来 试探 。 他 可 以 

分 配 一 个 20 分 钟 的 时 间 盒 对 当前 功能 实施 后 续 测 试 。 当 时 间 耗 尽 ， 他 可 

以 问 自己 如 下 问题 。 

。 这 段 时 间 的 测试 发 现 新 信息 了 吗 ? 

。 这 些 信息 是 否 暗示 还 存在 严重 的 缺陷 ? 

。 继 续 测试 的 付出 能 获得 好 的 回报 吗 ? 

。 为 了 尽快 发 现 软件 的 严重 错误 ， 我 是 否 应 该 测试 其 他 尚未 测试 的 功 
能 ? 




















通过 思考 这 些 问题 ， 他 可 以 更 好 地 安排 测试 时 间 。 其 可 能 的 选择 包括 再 
安排 20 分 钟 的 时 间 盒 来 继续 测试 ， 或 开始 测试 其 他 功能 。 

时 间 盒 是 一 种 第 用 的 时 间 限 制 局 友 式 方法 [Weinberg08]。 它 简单 明了 ， 
又 不 失 弹 性 。 它 使 当前 的 任务 获得 稳定 的 时 间 ， 又 确保 其 他 有 价值 的 任 
务 不 会 被 长 时 间 延 后 。 


2.2.2 ”通过 技术 调查 发 现 更 多 的 信息 


缺陷 提供 了 被 测 软件 的 新 信息 。 利 用 新 信息 ， 测 试 人 员 可 以 对 相关 领域 
进行 测试 ， 从 而 发 掘 出 更 多 的 缺陷 。 做 后 续 测 试 有 两 个 好 处 : 一 是 可 能 
会 及 现 一 些 额外 的 信息 ， 使 原先 的 缺陷 报告 更 完整 ， 二 是 可 能 会 发 现 一 
些 相似 或 相关 的 缺陷 ， 使 测试 人 员 对 软件 的 整体 质量 更 了 解 。 


后 续 测 试 的 一 个 切入 点 是 评估 当前 缺陷 的 风险 。 评 估 风 险要 考 穴 两 个 因 
素 : 风险 暴露 的 可 能 性 和 风险 暴露 的 损失 (更 多 讨论 请 参考 8.3 市 ) 。 


o 考察 “风险 暴露 的 可 能 性 ”是 要 评估 风险 转变 为 实际 失败 的 概率 。 对 
于 软件 缺陷 ， 测 试 人 员 需 要 估计 用 户 过 到 此 缺陷 的 可 能 性 ， 这 通常 
要 求 测试 人 员 发 现 骏 露 此 缺陷 的 用 户 情景 。 对 于 复杂 的 软件 ， 这 样 
的 

aie 


。 考察 “风险 暴露 的 损失 ”是 要 估计 失败 所 造成 的 损失 。 对 于 软件 缺 
陷 ， 测 试 人 员 需 要 估计 缺陷 骏 露 所 带 来 的 最 大 用 户 损失 。 


为 了 发 现 这 些 信 息 ， 测 试 人 员 需 要 设计 多 种 测试 ， 以 考察 更 多 的 情况 。 
例如 ， 某 位 测试 人 员 测 试 Microsoft PowerPoint， 该 软件 能 够 导入 多 种 格 
式 的 图 片 ， 将 它们 放 在 页 面 上 ， 并 提供 一 组 “图 片 特效 ”〈 如 柔 化 边缘 、 
添加 阴影 、 添 加 倒影 、 调 节 亮 度 等 ) 去 美化 图 片 。 测 试 人 员 在 测试 打印 
功能 时 ， 人 偶然 发 现 页面 上 的 一 个 图 片 在 打印 结果 中 丢失 了 。 这 是 一 个 严 
EERE E a E E 






































。 他 用 不 同型 号 的 打印 机 来 打印 有 问题 的 文档 ， 来 检查 缺陷 是 否 与 打 
印 机 硬件 或 驱动 相关 。 


。 有 些 软件 可 以 在 操作 系统 中 注册 “虚拟 打印 机 ”， 将 文档 发 送 到 该 打 
印 机 能 够 生成 特定 格式 的 文档 (通常 是 PDF 文 档 ，。 他 将 有 问题 的 
文档 发 送 给 “虚拟 打印 机 ”， 并 检查 生成 的 文件 。 如 果 缺 陷 重 现 ， 说 
明 错 误 与 打印 机 类 型 和 驱动 无 关 。 

。 PowerPoint 提 供 了 二 次 开发 功能 ， 人 允许 第 三 方 开发 者 调用 打印 
API〔 应 用 程序 编程 接口 ) 来 打印 文档 。 他 会 调用 该 API， 以 检查 
错误 是 人 否 影响 到 了 第 三 方 开 发 者 。 


。 他 会 删 去 文档 中 的 一 些 文 字 和 图 片 ， 再 检查 丢失 的 图 片 是 否 能 打 








印 。 有 时 打印 错误 是 其 他 可 打印 对 象 引起 的 ， 丢 失 的 图 片 不 一 定 是 
问题 的 根源 。 


他 会 殖 换 不 能 正确 打印 的 图 片 。 如 果 该 图 片 是 BMP 格式 ， 他 会 将 其 
符 换 为 其 他 BMP 格 陈 的 图 片 ， 再 添加 一 些 PNG 格 式 的 图 片 ， 然 后 打 
印 。 通 过 测试 ， 他 残 能 评估 问题 的 根源 是 特殊 的 图 片 ( 如 果 其 他 
BMP 格 式 的 图 片 可 以 正确 打印 ) ， 还 是 特定 的 图 片 格式 (如 果 
BMP 格式 的 图 片 都 不 能 打印 ， 但 是 PNG 格 式 的 图 片 可 以 打印 ) 。 


他 会 检查 图 片 是 否 被 施加 了 一 些 “ 图 片 特效 "”。 如 果 有 特效 ， 他 会 逐 
一 去 除 " 图 片 特效 "并 打印 ， 以 从 查 徘 魁 祸 放 是 否 为 特定 的 “图 方 特 


效 


如 果 发 现 “ 图 片 特 效 ” 是 打印 错误 的 原因 之 一 ， 测 试 人 员 会 联想 
到 “艺术 字 ” 也 有 相似 的 “文字 特效 ”( 如 柔 化 边缘 、 添 加 阴影 、 添 加 
倒影 等 ) 。 他 会 在 文档 中 增加 一 些 “ 艺 术 字 ” 和 相应 的 “文字 特效 ”， 
并 测试 它们 能 售 正 确 打印 。 


他 回忆 发 现 缺 陷 的 过 程 ， 想 起 在 打印 之 前 ， 他 对 文档 进行 了 许多 操 
作 。 于 是 ， 他 将 文档 复制 到 男 一 台 测 试 机 ， 局 动 被 测 的 排版 软件 ， 
再 次 打印 该 文档 。 通 过 该 测试 ， 他 可 以 判断 打印 错误 是 否 与 排版 软 
件 的 状态 有 关 。 注 意 ， 他 并 没有 关闭 最 初 发 现 错误 的 软件 ， 因 为 该 


进程 可 能 强 含 重要 的 错误 信息 。 


PowerPoint 还 可 以 生成 PDF 文件 。 考 虑 到 生成 PDF 的 代码 与 打印 代 
和 


在 任务 管理 器 中 ， 测 试 人 员 发现 软 件 在 打印 时 会 申请 许多 内 存 。 是 
不 是 因为 内 存 管 理 轴 到 错误 ， 而 不 能 正确 打印 呢 ? 测试 人 员 会 切换 
到 男 一 台 内 存 更 小 的 机 器 上 ， 以 检查 在 内 存 受 限 的 情况 下 打印 会 过 
到 什么 问题 。 通 常 ， 测 试 人 员 会 准备 两 全 (或 多 台 ) 配置 差异 较 大 
的 测试 机 (如 不 同 的 CPU、 内 存 、 显 卡 、 操 作 系 统 等 ) ， 能 够 快速 
发 现 一 些 软 人 硬件 配置 导致 的 问题 。 


有 时 后 续 测 试 并 不 需要 和 窗 产 以 上 所 有 变化 ， 但 是 某 些 严 重 的 缺陷 可 能 要 
求 更 广泛 的 测试 。 为 了 局 发 思路 ， 测 试 人 员 可 以 参考 James Bach 提 出 的 
7 大 产品 元 素 ， 从 而 多 角度 地 思考 测试 覆盖 [Bach12]。 




















结构 : 软件 所 拥有 的 组 成 元 素 。 在 文件 级 别 ， 组 成 元 素 是 构成 软 
件 的 各 种 文件 ， 在 代码 级 别 ， 组 成 元 素 包括 语句 、 函 数 、 类 等 。 从 
结构 角度 考虑 测试 履 兰 ， 测 试 人 员 需 要 用 训 试 去 禾 兰 更 多 的 结构 元 
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功能 : 软件 所 拥有 的 功能 。 为 了 获得 更 多 的 信息 ， 测 试 人 员 需 要 
测试 相关 的 功能 ， 并 确保 履 盖 了 每 个 功能 的 相关 细节 。 在 上 例 中 ， 
测试 人 员 测 试 了 相关 功能 < 生成 PDF 文件 ?和 “文字 特效 "， 从 而 检查 
了 缺陷 的 影响 范围 。 


数据 : 软件 所 使 用 的 数据 。 由 于 程序 能 够 接纳 、 处 理 、 输 出 的 数 
据 是 无 穷尽 的 ， 测 试 人 员 需 要 将 数据 分 类 ， 并 确保 测试 了 每 个 分 类 
的 典型 案例 。 在 上 例 中 ， 测 试 人 员 用 多 种 方式 提高 了 数据 禾 盖 : 测 
试 新 的 BMP 文 件 、 测 试 PNG 文 件 、 测 试 艺术 字 、 测 试 “ 图 片 特效 ” 产 
FS renee ear ede 
I 文档 等 。 


接口 : 软件 所 提供 的 操作 界面 ， 如 用 户 界面 、 系 统 界 面 、API、 编 
程 平台 的 SDK、 数 据 导 入 和 导出 功能 等 。 在 上 例 中 ， 测 试 人 员 黎 兰 
了 软件 提供 的 API， 还 通过 导入 更 多 的 图 片 履 兰 了 图 片 导 入 功能 。 


平台 : 软件 所 依赖 的 软 硬 件 环 境 ， 这 包括 硬件 平台 、 网 络 环境 、 
操作 系统 、 软 件 依赖 的 其 他 软件 和 网 络 服务 等 。 在 上 例 中 ， 测 试 人 
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操作 : 软件 可 能 的 使 用 方式 。 测 试 人 员 将 功能 组 合成 流程 ， 用 不 
同 的 顺序 调用 功能 ， 以 发 掘 用 户 操作 时 可 能 遇 到 的 问题 。 在 上 例 
中 ， 测 试 人 员 引 入 了 一 些 新 的 操作 流程 :增删 图 片 和 文字 后 再 打 
印 、 局 动 新 的 被 测 进程 后 再 打印 。 


时 间 : 软件 与 时 间 相 关 的 元 素 。 许 多 错误 与 时 间或 时 序 有 关 ， 例 
如 多 线程 死 锁 、 多 线程 竞 态 条 件 、 客 户 端 与 服务 端 时 间 不 同步 引发 
的 冲突 等 。 在 并 发 编程 和 网 络 编程 日 趋 重 要 的 今天 ， 这 些 问 题 需要 
引起 测试 人 员 的 重视 。 上 例 的 缺陷 与 时 间 没 有 明显 的 关系 ， 所 以 没 
有 专门 的 后 续 测试 ， 不 过 一 些 测试 用 例 无 形 中 提高 了 时 间 窗 盖 。 例 
如 ， 用 新 进程 打开 文档 后 直接 打印 和 长 时 间 编 辑 文档 后 再 打印 ， 是 
两 种 不 同 的 操作 序列 ， 它 们 可 能 导致 软件 用 不 同 的 方式 去 处 理 图 片 
缓存 ， 进 而 导致 不 同 的 行为 。 




















训 试 覆 兰 并非 唯一 的 测试 切入 点 ， 测 试 人 员 还 可 以 利用 漫游 测试 〈 参 见 
5.4 节 ) 、 基 于 典型 缺陷 的 快速 测试 “参见 5.5 节 ) 等 方法 来 测试 产品 。 
其 目的 是 通过 多 样 化 的 测试 来 获取 更 多 信息 ， 从 而 更 好 地 评估 缺陷 的 风 
险 。 如 果 打 印 丢失 只 出 现在 东 些 图 片 和 茶 个 特效 的 组 合 上 ， 那 么 问题 的 
普 授 性 较 低 ， 但 严重 性 较 高 (因为 缺陷 导致 用 户 数 据 丢 失 ) 。 如 果 打 印 
丢失 出 现在 所 有 的 BMP 图 片上 ， 或 相似 的 情况 也 出 现在 文字 特效 上 ， 或 
生成 的 PDF 文件 也 丢失 图 片 ， 那 么 问题 的 普通 性 和 严重 性 都 较 高 。 


通过 测试 ， 测 试 人 员 可 能 发现 了 新 的 缺陷 ， 可 能 发 现 了 原 缺 陷 的 新 线 
索 ， 也 可 能 没有 太 多 收获 。 无 论 如 何 ， 他 都 可 以 在 缺陷 报告 中 记录 做 了 
什么 和 得 到 了 什么 结果 ， 这 些 都 为 缺陷 的 评审 和 修复 提供 了 有 力 的 文 


持 。 
2.2.3 ”处 理 难 以 重 现 的 缺陷 


难以 重 现 的 缺陷 是 测试 人 员 最 常 遇 到 的 工作 挑战 之 一 。 以 塌 观 的 角度 来 
看 ， 难 以 重 现 的 缺陷 意味 着 软件 的 行为 受到 未 知 因素 的 影响 ， 搞 清楚 这 
些 因素 即便 不 是 “不 可 能 的 任务 ”， 也 需要 大 量 的 时 间 。 以 乐观 的 角度 来 
看 ， 它 既然 出 现 过 ， 就 有 可 能 重 现 ， 即 便 不 能 修复 ， 项 目 团队 也 知晓 它 
的 症状 和 风险 。 很 多 时 候 ， 重 现 一 个 缺陷 确实 需要 一 些 运气 ， 但 是 测试 
人 员 不 能 单纯 地 依赖 运气 ， 他 需要 从 多 个 方面 努力 应 对 挑 成 。 


第 一 ， 测 试 人 员 需 要 以 正确 的 态度 面 对 缺 陷 。 调 试 人 员 的 字典 中 没 

有 “不 能 重 现 的 缺陷 ?， 他 会 说 这 个 “ 间 鞭 性 缺陷 ”很 难 重 现 ， 我 尚未 掌握 
稳定 重 现 它 的 所 有 因素 。 这 种 想法 使 测试 人 员 能 够 以 积极 的 态度 来 面 对 
困难 。 具 体 而 言 ， 他 应 该 具有 如 下 信念 。 


。 缺陷 是 可 以 重 现 的 。 


。 目前 ， 我 已 经 掌握 了 重 现 该 缺陷 的 部 分 因素 ， 利 用 它们 尚 不 能 重 现 
该 缺陷 ， 或 只 能 以 较 低 的 概率 重 现 该 缺陷 。 


。 我 的 任务 是 发 现 更 多 的 因素 ， 以 稳定 地 重 现 该 缺陷 ， 或 以 更 高 的 概 
率 重 现 该 缺陷 。 


第 二 ， 在 测试 过 程 中 ， 测 试 人 员 应 该 为 潜在 的 缺陷 做 好 准备 ， 当 一 个 缺 
陷 骏 露 时 ， 他 可 以 收集 尽 可 能 多 的 信息 。 在 我 的 经 验 中 ， 有 些 缺 陷 之 所 
以 没有 重 现 ， 是 因为 我 在 第 一 次 发 现时 没有 记录 足够 的 信息 。 原 以 为 我 





























能 通过 重 现 去 记录 更 多 的 信息 ， 却 发 现 该 缺陷 “神秘 地 ?消失 了 。 无 奈 之 
下 ， 我 只 好 提交 一 份 信息 较 少 的 缺陷 报告 。 因 为 缺少 线索 ， 接 到 报告 的 
程序 员 也 没有 重 现 该 缺陷 。 最 后 ， 缺 陷 被 解决 为 “没有 重 现 ”。 
在 吸取 了 教训 之 后 ， 我 会 在 测试 之 前 和 测试 过 程 中 做 以 下 准备 工作 。 
。 在 测试 机 上 安装 调试 器 Windbg， 并 将 它 设 为 默认 的 事后 调试 器 。 
当 被 测试 软件 骨 溃 时 ，Windows 将 启动 Windbg 来 调试 该 朋 溃 1 。 

。 在 测试 机 上 安装 Web 调 试 代 理 Fiddlerz 。 如 果 软 件 会 用 HTTP 协 议 与 
其 他 计算 机 通信 ， 我 会 在 测试 之 前 打开 Fiddler， 让 它 监 探 并 记录 软 
件 的 HTTP 请 求 与 响应 。 

在 测试 机 上 安装 Process Explorer? 。 在 测试 之 前 启动 Process 
Explorer， 让 它 监 视 软件 所 使 用 的 资源 ， 重 点 关注 CPU、 内 存 、 句 
柄 等 关键 资源 的 使 用 情况 。 

在 测试 机 上 安装 一 款 性 能 分 析 工 具 4 。 如 果 软 件 遇 到 性 能 问题 ， 我 
会 用 它 获 取 软 件 的 性 能 跟踪 数据 。 





工 关于 Windbg 的 使 用 ， 可 以 参考 能 力 所 著 《Windows 用 户 态 程序 高 效 排 错 》， 全 文 下 
载 : http://www.cnblogs.com/lixiong/archive/2010/02/11/1667516.html 。 





2 详 见 http://www .fiddler2.com/fiddler2/ 。 


3 详 见 http://technet.microsoft.com/en-us/sysinternals/bb896653.aspx 。 


























4 在 Windows 8 上 ，Windows Performance Toolkit 是 一 款 强 大 的 性 能 分 析 工 具 ， 它 被 包含 在 
Windows 8 SDK 中 ， 下 载 地 址 : http://msdn.microsoft.com/en-us/windows/desktop/hh852363.aspx 


不 难看 出 ， 这 些 监 控 工 具 都 属于 调试 诊断 工具 。 因 为 它们 依赖 于 一 些 底 
层 的 局 级 技术 ， 所 以 学 习 和 使 用 难度 较 高 。 不 过 ， 掌 握 它 们 的 基本 功能 
就 可 以 玉 集 到 许多 有 价值 的 信息 。 例 如 ， 内 存 转 储 文件 记录 了 一 个 进程 
在 汞 个 时 刻 的 内 存 状态 ， 对 于 菏 些 故障 例如 进程 衣 尝 ) 的 诊断 很 有 大 
助 。 在 提交 缺陷 报告 时 ， 测 试 人 员 可 以 考虑 将 内 存 转 储 文件 作为 报告 的 
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图 2-1 展 示 了 如 何 利用 任务 管理 喜来 生成 指定 进程 的 内 存 转 储 文件 。 闹 
试 人 员 选 中 目标 进程 后 ， 右 击 鼠 标 ， 在 弹出 菜单 中 点 击 “ 创 建 转 储 文 
件 ”， 束 可 以 获得 该 进程 的 内 存 转 储 文件 。 该 方法 只 使 用 Windows 操 作 
系统 目 带 的 工具 ， 适 用 于 所 有 安 六 Windows 系 统 的 测试 机 。 
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图 2-1 使 用 任务 管理 器 生成 内 存 转 储 文件 


图 2-2 展 示 了 如 何 利 用 Process Exploerer 来 生成 指定 进程 的 内 存 转 储 文 
件 。 测 试 人 员 选 中 目标 进程 后 ， 右 击 鼠 标 ， 在 弹出 菜单 中 点 击 “ 生 成 转 
fifi” (Create Dump) ， 再 选择 “生成 完整 转 储 ”(〈Create Full Dump) 就 可 
以 获得 该 进程 的 内 存 转 储 文件 。 该 方法 允许 测试 人 员 提供 转 储 文件 的 保 
存 路 径 和 文件 名 ， 在 实际 测试 中 较 第 一 种 方法 更 为 方便 。 
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图 2-2 使 用 Process Explorer 生 成 内 存 转 储 文件 


图 2-3 展 示 了 一 个 注册 表 文 件 crash_auto_dump.reg， 双 击 它 可 以 将 其 记录 
的 设置 导 八 Windows 系 统 的 注册 表 。 根 据 该 设置 ，Windows 系 统 会 对 崩 
沉 的 进程 调用 命令 : "c:\\debuggers\\windbg.exe" -p %ld -c ".dump /ma /u 
c:NdumpNcrash.dmp;q\"。 该 命令 调用 安装 在 cdebuggers 目 录 的 
windbg.exe (测试 人 员 需 要 先 将 Windbg 安 装 在 该 目录 下 ) 将 月 训 进程 的 
内 存 转 储 文件 号 入 cxdump 目 录 。 这 样 ， 测 试 人 员 可 以 自动 获得 月 涡 进 
程 的 转 储 文件 ， 使 得 一 些 罕见 的 朋 溃 错误 能 够 获得 有 益 的 诊断 信息 。 








e) crash_auto_dump.reg - Notepad2 - 5 EA 
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1 Windows Registry Editor Version 5.00 
2 
3 [HKEY_LOCAL_ MAC 
4 “Auto"="1" 
5 "Debugger”="\"c:\\debuggers\\windbg.exe\"” -p tld -c \".dump /ma /u c:\\dump\\crash.dmp;q\"" 
6 "UserDebuggerHotKey"=dword: 00000000 
7 
€ [HKEY_LOCAL MACHINE\ SOFTWARE \Micro 
9 "DWM.exe"=dword:00000001 
10 “trustedinstaller.exe”=dword: 00000001 
< > 


图 2-3 使 用 Windbg 目 动 生成 朋 浊 进程 的 转 储 文件 


本 贡 介 绍 的 工具 适合 windows 平 台 上 的 软件 测试 。 在 其 他 操作 系统 和 运 
行 环 境 上 工作 的 测试 人 员 可 以 结合 具体 任务 ， 采 用 其 他 调试 诊断 工具 ， 
以 便 第 一 时 间 捕 获 缺 陷 的 信息 。 熬 悉 这 些 工 具 ， 并 让 它们 随时 可 用 ， 能 
显著 提高 测试 效率 。 


第 三 ， 如 果 第 一 次 收集 的 信息 并 不 能 重 现 或 定位 缺陷 ， 测 试 人 员 需 要 做 
后 续 测试 ? 。 测 试 之 前 ， 测 试 人 员 需 要 增强 软件 运行 的 可 见 性 。 缺 陷 没 
有 重 现 说 明 还 有 一 些 测试 人 员 没有 观察 到 的 关键 因素 ， 如 果 不 提 高 可 见 
性 ， 很 可 能 还 是 观察 不 到 这 些 因 素 。 因 为 软件 运行 非常 复杂 ， 测 试 人 员 
再 要 见 悉 软件 的 运行 机 制 和 调试 工具 ， 才 能 有 效 地 观察 。 以 下 是 一 些 党 
见 的 观察 方法 。 


5 James Bach 的 文章 How to Investigate Intermittent 
Problems (http://www.satisfice.com/blog/archives/34 ) 提供 了 许多 好 的 测试 想法 。 





。 软件 错误 可 能 是 因为 软件 不 能 获得 某 种 操作 系统 资源 ， 如 内 存 、 
文件 、 网 络 端口 、 注 册 表 键 值 等 ， 也 可 能 是 因为 它 错 误 地 使 用 了 
资源 。 测 试 人 员 需 要 用 工具 (如 Process Explorer) 观察 软件 和 操 
作 系 统 使 用 和 持 有 哪些 资源 。 


。 软件 错误 可 能 是 因为 软件 处 于 不 正确 的 状态 © CHE PH HE 
变量 的 值 出 了 问题 。 测 试 人 员 可 以 用 调试 器 〈 如 Windbg) 观察 相 
天 变量 的 值 ， 并 留意 它们 的 变化 。 











。 软件 错误 可 能 是 因为 操作 的 顺序 或 时 序 不 正确 。 测 试 人 员 可 以 研 
完 软件 的 日 志 ， 了 解 软 件 的 每 一 步 操 作 及 其 耗 时 。 


软件 错误 可 能 是 因为 软件 所 调用 的 软件 或 服务 返回 了 它 不 能 处 理 
的 数据 。 如 果 软 件 调 用 网 络 服 务 ， 测 试 人 员 可 以 用 工具 (如 
Fiddler) 监控 网 络 通 信 ， 以 了 解 软件 发 送 了 什么 数据 、 收 到 什么 数 
据 。 如 果 所 调用 的 软件 或 服务 有 日 志 ， 测 试 人 员 需 要 将 日 志 记 录 设 
置 为 最 详细 的 级 别 ， 并 仔细 阅读 日 志 内 容 。 一 些 诊断 工具 《如 
Windows Performance Toolkit) 能 够 观察 进程 之 间 的 调用 关系 ， 有 
助 于 识别 软件 之 间 的 依赖 关系 。 


软件 错误 可 能 是 数据 库 返 回 了 它 不 能 处 理 的 数据 。 测 试 人 员 可 以 
浏览 数据 库 中 的 数据 ， 检 查 返 回 数据 的 表 、 视 图 、 存 储 过 程 、 函 数 
等 对 象 ， 以 推测 数据 的 可 能 取 值 。 


。 有 些 软 件 内 建 了 一 些 调试 辅助 功能 ， 能 够 提供 软件 运行 的 详细 信 
E 。 测 试 人 员 可 以 局 动 这 些 功 能 或 安装 具有 这 些 功 能 的 调试 版 
本 。 


第 四 ， 测 试 人 员 应 该 用 “科学 实验 ”的 策略 来 指导 缺陷 重 现 : 提出 假设 ， 
根据 假设 设计 实验 ， 用 实验 结果 推翻 假设 或 提出 新 假设 。 在 观察 的 基础 
上 ， 测 试 人 员 结合 上 自身 经 验 ， 可 以 提出 一 些 对 错误 原因 的 猜测 。 然 后 ， 
他 选择 一 个 猜测 ， 在 它 的 指引 下 ， 设 计 一 批 测试 去 尝试 重 现 缺陷 。 如 果 
这 些 测 试 没有 获得 有 价值 的 新 肥 现 ， 他 可 以 选择 为 一 个 猜测 ， 再 设计 并 
执行 测试 。 如 果 测 试 中 发 现 了 新 情况 ， 他 可 以 提出 新 猜测 并 记录 下 来 ， 
然后 根据 新 猜测 开始 测试 。 


重 现 缺 陷 很 容易 陷入 盲目 的 尝试 ， 直 到 测试 人 员 感 到 疲倦 而 放弃 ， 也 没 
有 多 少 进展 。 提 出 错误 猜测 使 得 测试 有 明确 的 目标 ， 在 它 的 指引 下 测试 
人 员 可 以 上 自由 发 挥 ， 而 不 会 迷失 方向 。 整 个 过 程 的 特征 是 设 定 明 确 的 目 
标 、 用 实验 去 获得 信息 、 根 据 新 信息 建立 新 目标 。 


第 五 ， 调 查 一 个 难以 重 现 的 缺陷 与 软件 调试 非常 相似 ， 测 试 人 员 可 以 借 
鉴 一 些 调试 原则 和 方法 。 调 试 专家 David J. Agans 的 9 条 调试 规则 
[Agans06] 不 但 可 以 指导 调试 ， 还 能 帮助 测试 。 


。 理解 系统 (Understand the system) 。 解 决 一 个 具体 问题 ， 很 多 时 
候 需 要 在 整体 上 理解 系统 。 重 现 一 个 缺陷 也 要 求 测试 人 员 在 宏观 上 



































和 细节 上 都 能 把 握 软 件 。 在 项 目 人 全程， 测试 人 员 需 要 积极 地 学 习 被 
测 软件 的 领域 知识 、 产 品 架 构 、 人 代码 实 现 、 技 术 平 台 、 调 试 工具 
等 。 只 有 较 全 面 地 理解 软件 ， 才 能 有 效 地 分 析 信 息 、 设 计 实 验 、 快 
速 测 试 。 软 件 开 友 与 测试 没有 捷径， 持续 积累 才 是 正 途 。 


制造 失败 CMake itfail) 。 影 响 软件 行为 的 因 系 包括 软件 自 号 的 
状态 和 软件 的 外 部 输入 用 户 的 输入 、 操 作 系 统 的 输入 、 其 他 软件 
的 输入 等 ) 。 测 试 人 员 应 该 列举 这 些 影响 软件 行为 的 因素 ， 并 分 析 
哪些 因素 可 能 与 当前 缺陷 有 关 。 然 后， 他 需要 大 量 尝试 这 些 因 素 的 
取 值 组 合 ， 并 试 着 总 结 缺 陷 重 现 的 模式 。 有 时 测试 人 员 需 要 求助 于 
程序 员 ， 让 他 提供 更 好 的 测试 钩子 以 控制 软件 的 状态 和 输入 ， 或 提 
供 更 好 的 调试 日 志 以 了 解 软件 的 状态 和 输出 。 


观察 先 于 思考 (Quit thinking and look) 。 在 猜测 引发 错误 的 原因 
之 前 ， 应 该 仔细 地 观察 软件 的 状态 、 操 作 系 统 的 状态 、 所 依赖 的 软 
件 或 服务 的 状态 ， 并 分 析 软 件 的 输入 数据 和 输出 数据 。 细 心 观察 可 
以 更 好 地 推测 缺陷 原因 ， 设 计 更 有 效 的 测试 ， 相 反 ， 凭 空 猜测 很 可 
能 使 测试 误 入 歧途 ， 费 时 费力 却 没有 收获 。 


分 而 治之 (Divide and conquer) 。 如 果 运 行 一 次 测试 需要 大 量 的 
准备 工作 (如 初始 化 数据 库 、 复 制 数 据 文件 、 重 启 服 务 等 ) ， 测 试 
就 不 能 提供 快速 的 有 反馈， 缺陷 调查 的 效率 就 很 低 。 为 此 ， 测 试 人 员 
需要 建立 一 个 可 以 快速 测试 的 环境 ， 这 通常 需要 隔离 一 些 无 关 的 数 
据 、 软 件 和 服务 ， 也 需要 测试 钩子 的 帮助 。 在 此 环境 中 ， 测 试 人 员 
通过 逐次 逼近 来 缩小 搜索 的 范围 ， 即 通过 测试 来 排除 一 些 影响 软件 
的 因素 ， 从 而 慢 慢 锁定 奋 干 重要 的 因素 。 


一 次 只 做 一 处 修改 (Change one thing at a time) 。 在 科学 实验 
中 ， 科 学 家 一 次 只 修改 一 个 变量 的 值 ， 从 而 了 解 该 变量 对 于 实验 结 
条 的 影响 。 同 样 ， 在 测试 中 ， 测 试 人 员 一 次 只 修改 一 个 变量 的 值 ， 
从 而 了 解 它 对 软件 行为 的 影响 。 


保持 审计 跟踪 (Keep an audit trail) 。 在 调查 过 程 中 ， 要 记录 下 
所 做 的 测试 和 测 斌 结果。 魔鬼 隐 藏 在 细节 中 ， 而 人 的 记忆 总 是 不 可 
靠 的 。 应 该 将 测试 、 软 件 和 环境 的 细节 记录 下 来 ， 作 为 缺陷 报告 的 


一 部 分 。 


检查 基本 假设 〈Check the plug) 。 如 果 测 试 人 员 的 调查 没有 进 























展 ， 他 也 许 要 质疑 一 下 他 的 基本 假设 。 面 对 复杂 的 问题 ， 测 试 人 员 
的 思考 党 第 基于 一 些 能 简化 情况 的 假设 ， 例 如 他 会 假定 “服务 器 返 
回 的 数据 应 该 是 没 问题 的 "、“ 这 个 模块 一 直 很 稳定 ， 不 会 出 
错 ”、“ 错 误 检查 代码 一 定 能 过 洲 挥 无 效 的 输入 数据 ”等 。 这 些 假设 
在 大 多 数 时 候 成 立 ， 但 是 并 非 永 远 如 此 ， 要 质疑 并 检查 它们 。 


获得 全 新 视角 (Geta fresh view) 。 如 果 重 现 的 努力 没有 成 功 ， 
测试 人 员 可 以 回程 序 员 或 测试 同伴 请 教 。 软 件 是 如 此 的 复杂 ， 每 个 
人 都 有 盲点 。 回 别人 解释 问题 ， 会 强迫 测试 人 员 组 织 思路 ， 这 有 助 
于 他 跳出 原来 的 思维 模式 ， 获 得 新 的 见解 。 也 许 叙 述 完 毕 ， 测 试 人 
员 束 获得 了 新 的 测试 灵感 。 此 外 ， 被 咨询 人 可 能 知道 一 些 知识 ， 能 
够 提供 有 效 的 测试 策略 或 关键 线索 ， 这 会 显著 提高 调查 效率 。 


如 果 你 没有 修复 它 ， 它 就 一 直 存 在 《Jf you didn't fix it, It ain't 
fixed) 。 当 重 现 缺 陷 的 努力 失败 时 ， 测 试 人 员 不 能 简单 地 说 :“ 它 
一 定 随 风 而 去 了 。” 缺 陷 在 测试 环境 中 不 出 现 ， 但 可 能 在 用 户 的 环 
境 中 出 现 ， 更 可 能 在 公司 领导 问 媒 体 做 公开 演示 时 出 现 。 为 了 让 项 
目 团 队 获 得 必要 的 信息 ， 测 试 人 员 应 该 提交 缺陷 报告 。 调 查 不 可 重 
现 的 缺陷 可 能 是 一 个 “时 间 黑 洞 ?。 测 试 人 员 应 该 根据 缺陷 的 严重 程 
度 ， 设 定 不 同 长 度 的 时 间 盒 。 在 时 间 耗 尽 时 ， 他 可 以 自问 : “是否 
追加 一 个 时 间 盒 继续 调查 ? 在 下 一 个 时 间 盒 中 能 获得 突破 吗 ? 对 于 
项 目 而 言 ， 是 继续 调查 还 是 开始 新 的 测试 更 有 利 ? ”经 过 评估 ， 他 
可 以 决定 是 继续 调查 ， 还 是 结束 调查 并 提交 缺陷 报告 。 


第 六 ， 在 结束 调查 后 ， 测 试 人 员 需 要 提交 缺陷 报告 。 如 果 测 试 人 员 还 是 
未 能 稳定 重 现 缺 陷 ， 他 需要 非常 仔细 地 编写 缺陷 报告 。 因 为 信息 不 足 ， 
草率 的 缺陷 报告 大 多 被 解决 为 “不 能 重 现 ”或 “不 予 修复 ”。 为 了 让 程序 员 
和 缺陷 评审 者 获得 足够 的 信息 ， 测 试 人 员 需 要 在 缺陷 报告 中 写 明 以 下 内 
容 。 


。 在 报告 的 开头 坦承 该 缺陷 不 能 稳定 地 重 现 。 

。 估算 该 缺陷 的 重 现 概率 。 它 只 出 现 了 一 次 吗 ? 还 是 在 茶 个 情景 中 ， 
以 N% 的 概率 重 现 ? 对 概率 的 估算 不 必 人 退 求 精确 ， 只 要 根据 测试 记 
录 进 行 简 单 计算 即 可 。 

。 该 缺陷 可 能 重 现 的 情景 有 哪些 ? 在 各 个 情景 中 重 现 的 概率 是 多 少 ? 























。 如 宋 该 缺陷 重 现 ， 所 造成 的 最 严重 后 果 是 什么 ? 


。 为 了 重 现 该 缺陷 ， 做 了 哪些 测试 ， 测 试 结果 如 何 ， 在 测试 中 发 现 了 
IFAR 


。 是 否 有 人 提交 过 类 似 的 缺陷 ? 那些 缺陷 提供 了 哪些 信息 ? 


。 根据 现 有 信息 ， 缺 陷 人 员 对 错误 根源 有 哪些 推测。 只 要 合情合理 ， 
有 事实 依据 ， 测 试 人 员 束 可 以 大 胆 地 发 表 上 自己 的 看 法 。 


随 厦 项 目的 发 展 ， 测 试 人 员 可 以 分 析 已 知 的 难以 重 现 的 缺陷 。 从 这 些 缺 
陷 中 ， 他 也 许可 以 总 结 出 若干 模式 : 某 些 缺 陷 有 相似 的 调用 栈 、 某 些 缺 
陷 在 特定 的 环境 中 可 能 重 现 、 某 些 缺 陷 在 特定 的 操作 序列 下 可 能 出 现 
等 。 与 程序 员 或 测试 同伴 讨论 这 些 模式 可 能 会 发 现 缺陷 的 根源 ， 也 可 能 
会 获得 重 现 缺 陷 的 新 思路 。 














2.3 ”编写 高 质量 的 缺陷 报告 


本 节 介 绍 一 些 技巧 和 实践 方法 ， 来 帮助 测试 人 员 编写 高 质量 的 缺陷 报 
告 。 因 为 不 同 的 项 目 团队 对 测试 人 员 有 不 同 的 期 望 ， 读 者 在 采纳 这 些 基 
本 实践 时 ， 需 要 做 一 些 因地制宜 的 变化 。 


本 节 假 设 项 目 团队 使 用 基于 数据 库 的 缺陷 管理 系统 来 跟踪 缺陷 报告 。 团 
队 成 员 可 以 向 系统 提交 新 的 缺陷 报告 ， 修 改 和 解决 已 有 缺陷 报告 ， 查 询 
符合 一 定 条 件 的 缺陷 报告 。 在 此 过 程 中 ， 人 缺陷 管理 系统 提供 审计 跟踪 功 
能 ， 记 录 对 缺陷 报告 所 做 的 一 切 修改 。 


~ 为 每 一 个 缺陷 单独 提交 一 份 缺陷 报告 ， 小 缺陷 也 十 如 
上 


为 了 提供 完整 的 信息 ， 测 试 人 员 应 该 报告 他 发 现 的 所 有 缺陷 。 为 了 让 每 
一 个 缺陷 都 得 到 审计 跟踪 ， 测 试 人 员 应 该 为 其 提供 独立 的 缺陷 报告 。 


有 时 ， 测 试 人 员 会 在 一 份 报告 中 提交 了 几 个 缺陷 。 这 可 能 会 导致 一 些 问 
题 。 








。 缺陷 报告 的 数目 会 少 于 缺陷 的 数目 ， 这 便 缺 陷 统 计 不 能 获得 准确 的 


Auto 


。 缺陷 报告 中 的 缺陷 可 能 有 不 同 的 根源 ， 需 要 不 同 的 解决 方案 ， 需 要 
不 同 的 程序 员 《 甚 至 不 同 的 项 目 团队 ) 来 解决 。 一 份 报告 不 能 很 好 
地 跟踪 所 有 缺陷 的 修复 。 


一 份 缺陷 报告 只 有 一 个 优先 级 和 严重 性 ， 但 是 它 所 提交 的 缺陷 可 能 
Pee ee ere ees 
级 和 严重 性 。 


因为 不 能 很 好 地 标识 与 跟踪 每 一 个 缺陷 ， 东 个 缺陷 可 能 被 程序 员 和 
测试 人 员 所 忽略 ， 以 致 于 没有 被 修复 。 

为 了 避免 这 些 问题 ， 训 试 人 员 需 要 将 此 类 缺陷 报告 拆 分 成 多 个 缺陷 报 
告 ， 让 每 一 个 缺陷 得 到 独立 的 报告 。 











然而 ， 缺 陷 管理 系统 的 关键 问题 是 行政 性 的 ， 而 不 是 技术 性 的 

[Kaner99]。 在 茶 些 项 目 环 境 中 ,测试 人 员 所 交 人 缺陷 报告 的 动力 会 被 压 
抑 。 一 个 上 典型 的 情况 是 项 目 管理 者 用 缺陷 报告 的 数量 来 评价 程 友 员 的 绩 
效 ， 这 势必 导致 程序 员 对 缺陷 报告 很 敏感 。 他 也 许 会 对 测试 人 员 

Bb: “你 如 果 发 现 缺 陷 ， 请 不 要 提交 缺陷 报告 ， 而 是 发 邮件 通知 我 。” 这 
让 测试 人 员 处 于 两 难 的 境地 : 一 方面 ， 他 知道 问 项 目 团队 提供 高 质量 的 
言 恩 是 测试 人 员 的 基本 责任 ， 隐 藏 信息 将 伤害 测试 人 员 的 “信誉 >， 另 一 
方面 ， 他 不 想 破 坏 与 开发 伙伴 的 关系 ， 这 是 高 效 测 试 的 基本 条 件 之 一 。 


坦率 地 说 ， 测 试 人 员 没 有 能 力 和 资源 去 解决 “不 民 管 理 ” 所 融 来 的 问题 ， 

这 是 项 目 经 理 或 更 高 层 经 理 的 职责 。 面 对 此 类 情况 ， 测 试 人 员 还 是 应 该 
正常 报告 每 一 个 缺陷 ， 因 为 隐藏 缺陷 将 伤害 项 目 团队 对 测试 人 员 的 信 

赖 ， 而 “可 信赖 * 是 一 个 信息 提供 者 的 工作 基础 。 同 时 ， 他 需要 向 “ 受 影 
啊 ” 的 程序 员 解 释 他 的 做 法 ， 并 强调 缺陷 报告 从 来 都 是 对 事 不 对 人 。 更 
积极 的 行动 是 ， 他 应 该 当面 向 他 的 领导 (通常 是 测试 经 理 或 项 目 经 理 ) 
解释 当前 的 管理 流程 给 测试 工作 带 来 了 困难 ， 并 将 对 项 目 产 生 不 好 的 影 
a a a 
之 所 住 。 


2.3.2 ”仔细 编写 缺陷 报告 的 标题 


在 阅读 缺陷 报告 时 ， 该 者 总 是 先 读 到 标题 。 例 如 ， 缺 陷 评 审 小 组 会 查询 
所 有 活跃 的 缺陷 ， 碍 询 结果 是 一 个 缺陷 标题 的 列表 ， 缺 陷 标 题 为 进一步 
的 分 拣 提 供 了 基础 。 再 例如 ， 程 序 员 会 租 询 所 有 指派 给 目 己 的 缺 哆 ， 通 
过 阅读 缺陷 列表 ， 来 了 解 当 前 等 修复 的 缺陷 。 再 例如 ， 测 试 经 理 报告 测 
试 进展 ， 其 报告 会 列举 当前 活跃 的 缺陷 (体现 为 一 个 缺陷 标题 的 列表 ) 
来 描述 软件 开发 的 状态 ， 报 告 的 读者 对 缺陷 所 有 判断 皆 来 自 标 题 。 

为 了 帮助 缺陷 报告 的 读者 更 快 、 更 准确 地 理解 缺陷 ， 测 试 人 员 需 要 认真 
编写 标题 。 一 个 较 好 的 模式 是 “条 件 ? 失 败 *[Karen08]， 即 阐述 在 何 种 情 
况 下 软件 会 发 生 什 么 样 的 失败 。 以 下 是 一 些 具体 的 例子 。 


0 0 





























e 当 打 开 一 个 旧版 本 的 文件 〈 版 本 号 : 2.0) 时 ， 软 件 报告 打开 文件 
失败 (错误 代码 : XYZ) 。 


。 当 程 序 退 出 时 ， 它 可 能 引发 间 昧 性 骨 波 〈 毅 误 时 所 调用 的 函数 是 
ABC) 。 


标题 要 客观 陈述 软件 所 过 到 的 问题 ， 描 述 触发 问题 的 情景 和 问题 的 症 

状 。 这 有 助 于 读 a 到 标题 的 人 推断 缺陷 的 严重 性 和 可 能 的 技术 原因 。 测 试 
人 员 还 可 以 在 标题 中 加 入 一 些 技术 细节 ， 如 错误 代码 和 函数 名 ， 这 使 得 
相似 症状 的 问题 可 以 相互 区 别 。 

2.3.3 ” 像 编 写 详细 测试 用 例 那 样 编写 重 现 步 又 


在 编写 缺陷 的 重 现 步 又 时 ， 测 试 人 员 可 以 参考 详细 训 试 用 例 的 编写 规 
则 ， 使 得 重 现 步 又 尽 可 能 地 具体 、 无 歧义 。 


如 果 缺 陷 与 环境 有 关 ， 在 重 现 步 又 之 前 增加 “测试 配置 ”一 节 ， 写 下 
测试 所 使 用 的 操作 系统 、 网 络 服 务 、 网 页 浏览 器 等 信息 。 


在 重 现 步骤 中 ， 为 每 一 个 操作 编号 ， 以 清楚 地 表明 第 1 步 做 什么 、 
第 2 步 做 什么 。 


不 要 假定 缺陷 报告 的 读者 对 软件 很 熟悉 ， 要 清楚 地 写 下 每 一 步 操作 
的 内 容 ， 例 如 点 击 了 什么 按钮 、 在 哪个 控件 中 输入 了 什么 字符 等 。 


不 要 包含 不 必要 的 步骤。 

清楚 地 写 下 执行 操作 序列 后 的 “预期 结果 ”。 

清楚 地 写 下 执行 操作 序列 后 的 “实际 结果 ”。 

如 果 可 以 提供 更 多 的 信息 ， 可 以 将 它们 写 入 “附加 信息 ”一 节 。 
以 下 是 一 个 重 现 步骤 的 例子 。 

测试 配置 : 测试 机 安装 64 位 Windows 8.1 操 作 系统 ，32GB 内 存 。 
重 现 步骤 : 

1. 关闭 计算 机 上 的 所 有 窗口 。 


2. 启动 产品 。 





3. 用 产品 打开 缺陷 报告 附件 中 的 文档 。 

4. 点 击 “ 文 件 = 打印 ”。 

5. 在 打印 对 话 框 中 选择 “Micorosft XPS Document Writer”. 
6. 点 击 “ 打 印 ”。 

7. 保存 XPS 文 件 。 


预期 结果 :所 生成 的 XPS 文 档 共 10 页 ， 每 页 正确 显示 原文 档 的 内 


实际 结果 : 所 生成 的 XPS 文 档 共 10 页 ， 但 是 第 8、9、10 页 上 缺少 原 
文档 所 包含 的 图 片 。 


附加 信息 : 在 打印 过 程 中 ， 产 品 进程 的 内 存 占 用 持续 增长 ， 从 
200MB 一 直 增 长 到 1.1GB。 在 打印 结束 后 ， 内 存 占用 降 问 400MB。 
详细 信息 请 参考 附件 中 的 “内 存 占 用 变化 趋势 .jpg”。 
2.3.4 ”使 用 缺陷 模板 来 提交 人 缺陷 
许多 缺陷 管理 系统 文 持 缺陷 报告 模板 ， 测 试 人 员 应 该 充分 利用 该 功能 。 
首先 ， 他 可 以 利用 模板 为 一 些 缺 陷 报 告 字段 设置 默认 值 ， 这 提高 了 编写 
报告 的 速度 。 其 次 ， 缺 陷 模 板 定义 了 缺陷 报告 的 结构 ， 能 提醒 测试 人 员 
报告 一 些 重要 的 信息 。 以 下 是 一 份 简化 了 的 缺陷 模板 ， 它 用 于 提交 “ 打 
印 ? 相 关 的 错误 。 

标题 : [打印 ] 在 什么 情况 下 ， 打 印发 生 何 种 故障 

功能 路 径 : 产品 家 族 X\ 产 品 Y\ 打 印 

=H : “=H 

测试 配置 请 提供 操作 系统 、 打 印 机 型 号 等 信息 

重 现 步骤 : 


1. 








2. 
3. 
预期 结果 : 
实际 结果 : 
附加 信息 : 
请 考虑 提供 如 下 信息 。 
。 用 户 影 啊 
。 重 现 此 缺陷 的 其 他 情景 


。 有 助 于 调试 的 任何 信息 (如 屏幕 截图 、 函 数 调 用 栈 、 运 行 日 
志 、 内 存 转 储 等 ) 


。 该 缺陷 能 否 稳定 重 现 ? 如果 是 间 葡 性 重 现 ， 重 现 概率 是 多 少 ? 
有 没有 更 多 的 信息 ? 


© 相关 缺陷 


这 份 缺 陷 模 板 包 含 “用 户 影 响 ” 等 提示 词 ， 它 们 提醒 测试 人 员 从 特定 的 角 
度 来 提供 信息 。 测 试 人 员 可 以 根据 项 目的 特点 ， 在 缺陷 模板 中 加 入 恰当 
的 提示 词 。 在 报告 攻 个 缺 隐 时， 测试 人 员 可 能 会 忽略 一 些 提示 词 ， 因 为 
它们 并 不 适用 于 当前 缺陷 ， 但 这 是 测试 人 员 思 考 后 的 决定 ， 而 不 是 遗 坊 
此 类 信息 而 导致 的 玻 漏 。 


在 日 常 工作 中 ， 我 会 制作 儿 份 缺陷 模板 ， 分 别针 对 不 同 的 功能 模块 或 缺 
陷 类 型 。 随 着 项 目的 进展 ， 我 会 修订 缺陷 模板 或 增加 新 的 模板 ， 使 得 它 
们 符合 项 目 团队 对 缺陷 的 要 求 。 


2.3.5 ”在 编写 缺陷 报告 时 ， 要 考虑 缺陷 查询 
有 时， 测试 人 员 需 要 查询 缺陷 省 理 系统 。 例 如 ， 他 发 现 了 一 个 缺陷 ， 在 


提交 缺陷 之 前 ， 他 会 搜索 缺陷 管理 系统 ， 以 了 解 该 缺陷 是 售 己 经 被 提 
区。 又 例如 ， 在 发 现 一 个 缺陷 后 ， 他 想起 以 前 曾经 提交 过 一 个 相似 的 缺 














陷 ， 为 了 了 解 那个 缺陷 是 如 何 解决 的 ， 他 会 得 询 缺 陷 管理 系统 。 再 例 
如 ， 有 人 询问 测试 人 员 为 什么 软件 是 如 此 设计 的 ， 他 回忆 起 是 茶 个 缺陷 
修复 决定 了 当前 的 设计 ， 于 是 他 会 搜索 那个 缺陷 。 


可 见 ， 查 询 缺 陷 是 一 件 常见 的 任务 。 为 了 使 查询 更 轻松 ,测试 人 员 在 编 

写 缺 陷 报告 时 要 略 加 其 酌 。 在 编写 缺陷 标题 时 ， 他 可 以 自问 :“ 如 果 几 

周 后 我 得 询 此 报告 ， 我 会 使 用 什么 关键 词 来 搜索 标题 ”其 他 测试 人 员 会 

使 用 什么 关键 词 ? "在 列举 了 一 组 关键 词 之 后 ， 他 可 以 选择 一 两 个 写 入 

标题 。 如 果 缺 陷 报 告 提供 了 “关键 词 ? 字 段 ， 他 可 以 将 关键 词 们 一 起 写 入 

el a a a 
Fi IES. 


有 时 ， 测 试 人 员 会 搜索 " 重 现 步骤 "或 "附加 信息 *。 为 此 ， 测 试 人 员 应 该 
将 尽 可 能 多 的 细节 写 入 这 些 部 分 。 最 典型 的 例子 是 软件 崩溃 时 的 函数 调 
用 酚 。 如 果 缺 陷 报 告 总 是 包含 崩溃 时 的 函数 调用 栈 ， 测 试 人 员 用 函数 名 
搜索 就 可 以 发 现 此 函数 有 关 的 软件 项 溃 。 


2.3.6 ”链接 相关 的 缺陷 


有 些 缺 陷 出 现在 第 见 场景 或 共 圣 模块 中 ， 会 被 多 人 发 现 。 为 了 避免 重复 
提交 茶 个 缺陷 ， 测 试 人 员 需 要 在 缺陷 绾 理 系统 中 搜索 相似 的 缺陷 。 如 果 
该 缺陷 已 经 被 提交 ， 测 试 人 员 可 以 将 目 己 发 现 的 信息 补充 到 已 有 的 缺陷 
报告 中 。 测 试 人 员 不 应 该 假设 很 明显 的 缺陷 一 定 会 被 同事 提交 ， 根 据 但 
询 结果 采取 行动 才 是 合理 的 策略 。 


有 了 时， 测试 人 员 会 及 现 一 些 症状 相似 的 缺陷 ， 但 并 不 能 确认 它们 的 错误 
原因 是 相同 的 。 对 于 这 种 情况 ， 他 应 该 为 每 一 个 缺陷 单独 提交 一 个 缺陷 
报告 ， 并 将 它们 链接 在 一 起 ， 从 而 让 程序 员 或 缺陷 评审 者 了 解 完整 的 信 
恩 。 有 些 缺 陷 管理 系统 文 持 “链接 ?缺陷 ， 只 要 和 输入 相关 缺陷 的 编号 ， 系 
统 就 可 以 将 几 个 缺陷 链接 在 一 起 。 如 有 果 缺 陷 管 理 系 统 不 支持 “链接 ”， 测 
试 人 员 可 以 选择 一 个 缺陷 作为 * 主 缺陷 ?”， 在 其 他 缺陷 报告 中 写 下 主 缺 陷 
的 编写 ， 并 在 主 缺 陷 中 记录 其 他 缺陷 的 编写 。 


2.3.7 ”注意 缺陷 报告 的 可 读 性 


缺陷 报告 是 面 癌 整个 团队 的 公开 文档 ， 应 该 提高 可 读 性 以 服务 读者 。 测 
试 人 员 不 必 反 复 推 融 报 告 的 字句 ， 他 只 需要 注意 一 些 基 本 规划 ， 殊 可 以 




















提高 报告 的 可 读 性 。 


。 避免 错别字 和 病句 。 如 采用 英语 撰写 报告 ， 利 用 字 处 理 软件 进行 
拼写 和 语法 检查 ， 能 够 立即 发 现 并 修正 明显 的 问题 。 对 于 中 文 报 
告 ， 写 完 之 后 通读 一 过 就 可 以 改正 大 多 数 文字 错误 。 


。 尽量 用 数字 列表 来 记录 重 现 步 又 。 
量 用 符 写 列表 来 罗列 事实 。 
。 用 空 行 分 阳 报 告 的 不 同 部 分 ， 在 视觉 上 突显 报告 的 结构 。 


。 用 屏 副 截图、 视频 录 像 、 内 存 转 储 等 附件 来 所 供 更 多 的 信息 A 
些 缺 陷 用 文字 很 难 描述 ， 但 是 一 幅 堆 图 或 一 段 录 像 就 可 以 很 好 地 说 
明 间 题 。 关 于 视频 录像 工具 ， 智 能 手机 是 一 个 很 好 的 选择 。 它 适用 
于 任何 软件 和 操作 系统 ， 且 对 被 测 软件 的 运行 没有 任何 影响 。 


2.3.8 ”客观 中 立地 书写 缺陷 报告 


缺陷 报告 是 对 缺陷 的 客观 陈述 ， 只 传递 事实 ， 不 评价 任何 人 的 工作 。 客 
观 的 风格 使 得 测试 报告 更 加 可 信 ， 倾 回 性 明显 的 报告 则 让 读者 怀疑 测试 
人 员 的 专业 态度 ， 反 而 不 利于 缺陷 的 修复 。 


。 测试 人 员 需 要 了 解 项 目 团队 对 缺陷 严重 程度 和 优先 级 的 定义 。 坚 持 
按照 团队 约定 来 填写 这 些 字 段 ， 不 但 能 够 保证 缺陷 报告 的 一 致 性 ， 
还 可 以 避免 一 些 不 必要 的 争执 。 


。 有 时， 测试 人 员 要 对 缺陷 的 用 户 影 响 或 可 能 原因 做 一 些 评 论 ， 他 应 
该 先 列 举 事实 ， 然 后 再 进行 谨慎 的 推 新 ， 并 号 清楚 推理 过 程 的 因 末 


逻辑 。 

e。 缺陷 报告 只 报告 错误 ， 不 要 评价 软件 设计 ， 也 不 建议 解决 方案 。 测 
试 人 员 可 以 当面 与 产品 经 理 、 程 序 员 等 讨论 软件 设计 ， 询 问 实 现 细 
节 ， 了 解 对 方 观点 ， 并 发 表 自 己 的 意见 。 



































24 对 不 予 修复 的 缺陷 进行 上 诉 


有 了 时， 缺陷 报告 会 被 解决 为 “不 予 修复 ”或 “延迟 修复 >。 如 果 测 试 人 员 不 
同意 这 样 的 决定 ， 他 需要 立即 进行 上 诉 。 在 许多 项 目 中 ， 上 诉 是 将 缺陷 
0 i 
决定 。 


在 上 诉 之 前 ， 测 试 人 员 需 要 做 一 些 准备 工作 。 


第 一 ， 他 可 以 再 做 一 些 测试 ， 以 研究 缺陷 的 普 衣 性 和 严重 性 。 目 的 是 用 
证 据说 明 缺 陷 可 以 在 主流 场景 中 暴露， 或 缺陷 能 市 来 严重 的 危害 。 


第 二 ， 他 要 改进 缺陷 报告 ， 以 强调 缺陷 的 普遍 性 或 严重 性 。 除 了 加 入 后 
续 测试 的 结果 ， 他 还 可 以 请 教 专家 资深 员工 、 领 域 专 家 、 用 户 代表 

等 ) ， 将 他 们 的 意见 写 入 缺陷 报告 。 此 外 ， 他 还 可 以 收集 一 些 资 料 ， 来 
证 明 缺 陷 值 得 修复 。 例 如 ， 茶 个 打印 缺陷 只 在 特定 型 号 的 打印 机 上 出 

现 。 他 可 以 利用 互联 网 搜索 市 场 报告 ， 以 了 解 该 型 号 的 打印 机 一 共 销 售 
了 多 少 合 、 市 场 前 景 如 何 、 其 典型 用 户 具 有 什么 特征 。 如 果 发 现 这 是 一 
球 畅 销 的 打印 机 、 其 用 户 与 被 测 软 件 的 用 户 有 很 大 的 交集 ， 那 么 将 这 些 
言 恩 号 入 缺陷 报告 会 显著 提高 其 说 服 力 。 


第 三 ， 他 可 以 与 缺陷 评审 小 组 的 成 员 做 面对面 的 交流 。 当 面 陈 述 问 题 能 
够 更 快速 地 交换 意见 ， 更 好 地 说 明 间 题 。 特 别 是 测试 人 员 可 以 当面 演示 
缺陷 的 重 现 情景 ， 从 而 更 生动 地 说 明 缺 陷 对 用 户 的 伤害 。 夯 一 方面 ， 他 
可 以 了 解 缺 陷 评 审 小 组 的 意见 ， 知 晓 他 们 需要 什么 样 的 证 据 才 会 作出 修 
复 的 决定 。 此 外 ， 缺 陷 评审 者 往往 是 团队 的 管理 者 或 业务 专家 ， 他 们 会 
从 项 目 进度 、 价 值 取 舍 、 商 业 影 响 等 多 个 方面 评审 缺陷 。 与 他 们 交流 ， 
测试 人 员 能 够 更 好 地 理解 业务 和 项 目 ， 更 好 地 理解 其 决定 的 根本 原因 。 


缺陷 上 诉 的 本 质 是 说 服 别 人 采纳 自己 的 建议 。 在 收集 证 据 和 说 服 的 过 程 
中 ， 测 试 人 员 的 “< 人脉 "会 有 潜移默化 的 作用 。 这 里 的 人 脉 古 指 测试 人 员 
的 信誉 和 团队 对 其 能 力 的 认可 程度 。 对 于 人 脉 好 的 测试 人 员 ， 团 队 成 员 
会 认为 他 的 意见 是 值得 参考 的 ， 也 愿意 力所能及 地 帮助 他 。 


测试 人 员 建 六 人 脉 的 主要 方法 有 两 条 。 









































。 通过 持续 提交 高 质量 的 缺陷 报告 来 建立 信誉 。 在 许多 项 目 团 队 
中 ， 缺 陷 报 告 是 测试 人 员 的 主要 工作 成 果 ， 程 序 员 和 缺陷 评审 者 通 
过 它们 来 评价 测试 人 员 的 专业 水 平 。 文 如 其 人 (You are what you 
write) [Kaner01]， 高 质量 的 缺陷 报告 让 测试 人 员 获 得 信任 ， 松 散 的 
缺陷 报告 让 测试 人 员 失 去 尊重 。 从 这 个 角度 ， 启 得 某 次 的 缺陷 上 诉 
是 长 期 努力 的 结果 。 


通过 帮助 团队 成 员 ， 让 他 人 认可 他 的 能 力 和 对 团队 的 页 献 。 除 了 
报告 缺陷 ， 测 试 人 员 还 通过 其 他 途径 来 服务 团队 ， 例 如 测试 程序 员 
的 私有 版 本 以 提供 快速 反馈 、 深 入 调查 一 个 严重 的 缺陷 、 周 密 地 测 
试 一 个 即将 上 线 的 补丁 等 。 在 开发 过 程 中 ， 许 多 任务 之 间 并 没有 很 
清晰 的 界限 ， 如 发 现 和 碍 明 缺 陷 [Weinberg08]。 测 试 人 员 不 要 厅 斤 
计较 或 争论 特定 的 活动 是 否 属于 测试 ， 倘 大 有 利于 团队 ， 就 应 该 投 
入 时 间 去 做 。 这 不 但 能 获得 他 人 的 肯定 ， 还 是 很 好 的 能 力 锻炼 。 


例如 ， 有 一 次 我 发 现 了 一 个 由 UI 线 程 〈 用 户 界 面 线程 ) 引发 的 死 锁 : UI 
线程 将 一 个 任务 交 给 线程 池 的 一 个 工作 线程 ， 工 作 线程 为 了 完成 任务 要 
申请 一 个 锁 对 象 ， 该 锁 对 象 被 UI 线 程 持 有 ， 而 UI 线 程 正在 等 待 工作 线程 
完成 任务 ， 于 是 这 两 个 线程 发 生死 锁 。 当 时 ， 此 失败 是 一 个 辆 手 的 问 
题 : 一 方面 ， 错 误 发 生 时 ，UI 线 程 仍 旧 能 够 处 理 用 户 输入 ， 所 以 看 上 去 
它 没 有 和 死 锁 ;， 一 方面 ， 这 是 一 个 间 隐 性 的 失败 ， 在 开发 者 的 机 器 上 不 
能 重 现 ， 在 我 的 测试 机 上 只 能 够 偶尔 重 现 。 为 了 避免 该 缺陷 被 解决 
为 “不 予 修复 ?或 “不 能 重 现 ”， 我 伦 了 一 个 多 小 时 调查 该 错误 ， 终 于 重 现 
死 锁 ， 并 用 调试 器 找到 了 引起 死 锁 的 工作 线程 和 锁 对 象 。 我 提交 了 这 些 
信息 后 ， 开 发 者 立即 表示 我 的 报告 很 有 价值 ， 并 迅速 修复 了 这 个 提交 了 
多 日 的 * 基 案 ?。 如 今 回 想 ， 我 本 可 以 更 快 地 发 现 错误 根源 ， 但 是 我 对 代 
码 不 了 解 ， 调 查 时 走 了 一 些 弯路 。 不 过 ， 通 过 这 次 调查 ， 我 较 完 整地 理 
解 了 这 部 分 代码 ， 今 后 我 能 够 更 有 效 、 更 自信 地 测试 。 还 有 一 反感 司 
和 是， 我 和 程序 员 非 常平 运 ， 因 为 我 的 测试 机 能 够 “偶尔 ” 重 现 该 死 锁 。 如 
人 
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2.5 周密 地 测试 缺陷 修复 


当 缺 陷 补 修复 后 ， 测 试 人 员 需 要 测试 软件 的 新 版 本 ， 以 检查 缺陷 是 个 得 
到 修复 、 修 复 是 否 引 入 新 的 缺陷 。 该 活动 体现 出 软件 测试 的 迭代 本 质 : 
测试 人 员 总 是 循环 测试 软件 的 版 本 厅 列 ， 后 续 的 测试 任务 基于 先前 发现 
E R 
策略 。 


测试 缺陷 修复 大 致 可 以 分 成 两 类 。 第 一 类 是 测试 普通 影 啊 力 的 缺陷 修 

复 ， 例 如 测试 项 目 中 发 现 的 普通 缺陷 ， 第 二 类 是 测试 高 影响 力 的 缺陷 修 
复 ， 例 如 测试 架构 级 别 的 改动 、 测 试 肥 布 前 夕 做 的 缺陷 修复 、 测 试 已 友 
布 产品 的 补丁 等 。 第 一 类 任务 只 要 求 做 小 范围 的 回归 测试 ， 工 作 量 较 

小 。 第 二 类 任务 要 求 测试 人 员 对 某 个 功能 和 情景 做 周密 的 测试 ， 工 作 量 
大 ， 可 能 需要 一 个 或 多 个 工作 日 才能 完成 。 


对 于 普通 影响 力 的 缺陷 修复 ， 测 试 人 员 需 要 尽快 完成 测试 ， 以 提供 及 时 
的 反馈 。 程 友 员 刚 提交 代码 时 ， 能 够 回忆 起 代码 细 市 ， 如 果 测 试 肥 现 新 
问题 ， 他 可 以 快速 地 修正 。 此 外 ， 有 一 些 缺 陷 修 复 更 改 了 软件 的 设计 ， 
这 可 能 是 程序 员 、 测 试 人 员 和 程序 经 理 讨论 的 结果 。 如 果 测 试 发 现 新 的 
设计 仍旧 存在 问题 ， 他 们 可 以 有 时 间 再 做 设计 。 如 果 测 试 人 员 “ 积 压 ” 了 
一 批 竺 测试 的 缺陷 修复 ， 直 到 项 目 后 期 才 测试 ， 那 么 在 测试 中 发 现 的 问 
题 很 可 能 没有 时 间 去 修复 。 对 于 缺陷 而 言 ， 其 报告 时 机 总 是 越 早 越 好 。 


在 开始 测试 时 ， 测 试 人 员 可 以 将 缺陷 报告 的 重 现 步骤 作为 脚本 测试 用 
例 ， 通 过 执行 该 用 例 来 做 基本 检查 。 如 果 软 件 通过 基本 检查 ， 测 试 人 员 
再 要 再 做 测试 来 检查 修复 确实 有 效 。 以 下 是 一 些 可 能 的 测试 策略 。 


。 测试 人 员 可 以 但 看 代码 的 变更 集 ， 了 解 当前 设计 ， 从 而 更 有 针对 性 
地 汕 试 。 有 时 ， 测 试 人 员 并 不 能 完全 读 懂 代码 细节 ， 但 是 了 解 大 致 
的 设计 ， 就 能 为 测试 提供 有 益 的 指导 。 如 果 必 要 ， 训 试 人 员 可 以 请 
教程 序 员 ， 以 深入 了 解 设计 。 

。 测试 人 员 可 以 考虑 产品 元 素 的 7 个 分 类 ， 在 结构 、 功 能 、 数 据 、 接 


口 、 平 台 、 操 作 、 时 间 上 设计 新 的 测试 用 例 。 不 要 完全 复 用 旧 的 测 
试用 例 ， 应 该 设计 新 的 测试 用 例 来 拓展 测试 的 广度 和 深度 。 





























测试 人 员 可 以 对 被 修改 的 代码 做 “影响 分 析 ” (参见 7.1 节 ) 。 通 过 考 
虑 被 修改 代码 的 输入 、 输 出 、 副 作用 ， 他 可 以 更 好 地 设计 测试 。 例 
如 ， 他 可 以 思考 : 被 修改 的 代码 从 何 处 获得 数据 ? 上游 代 码 会 不 会 
产生 它 不 能 处 理 的 数据 ?软件 会 不 会 用 反常 的 方式 调用 它 ? 被 修改 
的 代码 会 调用 什么 代码 ?这 些 调用 会 不 会 产生 出 人 意料 的 结果 ? 被 
修改 的 代码 会 产生 什么 数据 ?下 游 代码 能 否 受 当地 处 理 这 些 数据 ? 
NA eee nee 
N J 是 3 


与 “影响 分 析 ” 相 似 ， 测 试 人 员 可 以 考虑 哪些 功能 与 被 修改 的 功能 
成 或 共 至 数据 。 他 可 以 测试 这 些 相 关 功 能 ， 以 检查 新 的 设计 是 否 破 
坏 已 有 的 功能 。 


测试 人 员 可 以 针对 缺陷 类 型 做 一 些 有 针对 性 的 测试 。 例 如 ， 为 了 提 
高 程序 的 响应 速度 ， 程 序 员 将 一 些 计算 转移 到 工作 线程 中 。 对 此 ， 
测试 人 员 可 以 制造 一 些 情景 ， 使 工作 线程 的 计算 抛 出 异常 ， 以 测试 
工作 线程 能 否 妥当 地 处 理 可 能 的 异常 。 有 时 程序 员 会 漏 掉 一 些 异常 
处 理 ， 而 未 被 处 理 的 异常 很 可 能 导致 程序 项 溃 。 























对 于 


局 影响 力 的 缺陷 修复 ， 测 试 人 员 应 该 细致 地 测试 新 设计 。 考 虑 到 测 


试 时 间 较 长 ， 他 可 以 将 其 视 为 一 个 微型 测试 项 目 进行 管理 。 在 此 过 程 


中 ， 


动 。 


他 根据 产品 的 成 熟 度 确定 测试 策略 [Kaner01]， 并 动态 调整 测试 活 


例如 ,测试 人 员 接 到 一 个 为 期 一 周 的 测试 任务 : 测试 一 个 即将 发 布 的 产 
品种 丁 。 他 可 以 考虑 按 如 下 方式 组 织 测 试 。 








周一 ， 他 安装 补丁 ， 并 执行 冒 烟 测 试 ， 目 的 古 在 第 一 时 间 发 现 严重 
的 缺陷 ， 如 补丁 无 法 安装 、 基 本 操作 执行 失败 、 基 本 情景 被 阻塞 

等 。 然 后 ， 他 会 搜集 补丁 相关 的 信息 ， 例 如 缺陷 描述 、 修 复 说 明 、 
被 修复 功能 的 规格 说 明和 测试 文档 、 互 联网 上 相关 的 业务 或 扩 术 文 
档 等 。 他 一 边 积 极地 学 习 信息 ， 一 边 “ 同 情 地 测试 ”。 测 试 的 目的 

古 检验 信息 的 有 效 性 ， 获 得 真实 的 反馈 ， 并 建立 产品 的 测试 模型 ， 
为 进一步 的 测试 做 好 准备 。 


周一 下 午 ， 他 会 根据 研究 成 果 ， 编 写 一 份 1~~2 页 的 测试 计划 ， 列 出 
己 经 执行 和 即将 执行 的 测试 想法 ， 并 发 送 给 补丁 程序 员 、 资 深 同 
事 、 测 试 经 理 和 产品 经 理 等 ， 邀 请 他 们 对 测试 计划 提供 有 反馈。 下 班 








时 ,测试 人 员 会 对 未 来 的 测试 充满 信心 ， 因 为 他 已 经 验证 了 基本 的 
功能 ， 并 根据 多 样 的 信息 源 和 真实 的 测试 经 验 制订 了 测试 计划 。 


周二 ， 测 试 人 员 会 “积极 地 测试 ”， 对 补丁 和 被 影响 的 相关 功能 执 
行 深入 的 测试 。 在 测试 的 间隙 ， 他 会 将 新 的 测试 想法 写 入 测试 计 
划 ， 使 测试 计划 反映 他 对 产品 的 最 新 理解 。 


周三 ， 测 试 人 员 已 经 对 补丁 和 产品 有 了 深入 的 理解 ， 他 也 陆续 收 到 
同事 对 测试 计划 的 反馈 。 他 会 再 次 综合 各 方面 信息 ， 完 善 产 品 的 测 
算 模型 ， 从 而 “多 样 地 测试 ”。 他 可 以 执行 同事 补充 的 测试 想法 ， 
检查 目 动 化 测试 的 结果 ， 利 用 测试 工具 执行 压力 测试 ， 利 用 调试 器 
检查 产品 代码 的 行为 一 一 他 会 运用 一 切 手 段 去 获取 有 价值 的 信息 ， 
直至 新 的 信息 不 再 出 现 。 


周 四 下 午 ， 测 试 人 员 会 将 测试 计划 转化 为 测试 报告 。 这 不 是 单纯 的 
文档 工作 ， 而 是 再 一 次 审视 测试 情况 ， 杭 理 测 试 思 路 ， 以 碍 漏 补 
缺 ， 为 最 后 一 天 的 测试 做 好 准备 。 如 有 果 测 试 情况 显示 测试 人 员 需 要 
更 多 的 时 间 去 完成 测试 ， 他 可 以 立即 向 测试 经 理 说 明 情 况 ， 并 申请 
更 多 的 测试 时 间 。 


周 五 ， 测 试 人 员 也 许 会 收 到 本 周 所 提交 缺陷 的 修复 ， 他 会 “ 严 鹿 地 
测试 ?。 在 发 布 前 夕 ， 对 任何 一 行 代码 或 配置 文件 的 修改 ， 都 要 做 
细致 的 、 一 丝 不 苟 的 测试 。 测 试 内 容 往 往 是 针对 小 范围 代码 的 全 面 
测试 ， 包 括 简 单 的 验证 ， 也 包括 复 茶 的 攻击 。 测 试 人 员 不 会 因为 一 
周 紧 张 的 工作 就 放松 懈 仍 ， 他 会 理解 此 时 细小 的 错误 将 导致 巨大 的 


损失 。 


最 后 ， 他 会 提交 测试 报告 ， 在 客观 摘 述 的 基础 上 ， 给 出 他 对 补丁 的 
评价 和 建议 。 虽 然 测 试 时 间 结 束 了 ， 但 是 测试 可 能 并 未 结束 。 如 宋 
测试 报告 显示 进一步 的 测试 能 够 友 现 有 价值 的 信息 、 能 够 揭示 潜在 
的 风险 ， 测 试 人 员 应 该 与 管理 人 员 交 流 ， 建 议 进一步 出 试 。 管 理 层 
会 根据 市 场 、 进 度 、 技 术 等 信息 作出 决 集 。 























2.6 ”坚持 阅读 缺陷 报告 


在 项 目 过 程 中 ， 测 试 人 员 应 该 持续 阅读 他 人 提交 的 缺陷 报告 ， 从 而 更 好 
地 理解 项 目 进 展 ， 并 激发 测试 灵感 。 


许多 缺陷 管理 系统 文 持 “ 缺 陷 查 询 "， 它 允许 测试 人 员 指 定 一 组 查询 条 

件 ， 如 缺陷 所 属 的 功能 、 缺 陷 提 区 的 日 期 、 缺 陷 标 题 包含 的 关键 词 等 ， 
然后 返回 符合 条 件 的 缺陷 报告 。 利 用 该 功能 ， 测 试 人 员 可 以 但 询 自己 负 
责 的 功能 和 相关 功能 的 缺陷 报告 ， 浏 览 缺 陷 报 告 列 表 ， 阅 读 他 感 兴趣 的 
报告 (8.2.1 市 还 介绍 了 一 些 定量 分 析 缺 陷 报告 的 方法 ) 。 每 天 或 每 周 阅 
读 缺 陷 报 告 可 以 帮助 测试 人 员 更 好 地 测试 。 


。 了 解 当前 有 哪些 活跃 的 缺陷 。 通 过 阅读 缺陷 报告 ， 测 试 人 员 可 以 
了 解 他 的 功能 或 他 依赖 的 功能 有 哪些 问题 。 这 样 ， 他 发 现 相 同 的 问 
题 时 不 会 重复 提交 缺陷 报告 。 更 重要 的 是 ， 他 知晓 汕 试 对 象 的 局 
限 ， 在 测试 时 可 以 绕 开 一 些 阻 但 ， 从 而 提高 测试 效率 。 


学 习 测 试 技巧 ， 完 善 测试 设计 。 阅 读 缺 陷 报告 ， 测 试 人 员 可 以 了 
解 测 试 伙伴 、 内 部 用 户 、Beta 版 用 户 发 现 了 哪些 缺陷 。 如 果 他 们 发 
现 的 缺陷 位 于 测试 人 员 猴 责 的 功能 ， 测 试 人 员 可 以 上 自问: 为 什么 他 
发 现 了 这 个 缺陷 ? 他 的 测试 设计 有 什么 特点 ? 为 什么 我 的 测试 没有 
发 现 这 个 缺陷 ? 如 何 增强 我 的 测试 策略 ， 使 我 以 后 也 可 以 发 现 此 类 
问题 ? 仔细 地 思考 这 些 问题 ， 记 录 思 考 结果 ， 再 应 用 于 今后 的 测 

试 ， 能 够 稳步 提高 测试 质量 。 


获得 测试 灵感 。 软 件 的 功能 具有 相似 性 ， 在 茶 个 功能 发 现 的 缺 
陷 ， 也 许 会 在 其 他 功能 以 故 一 种 形式 存在 。 测 试 人 员 参 考 相关 功能 
发 现 的 缺陷 ， 能 够 产生 新 的 测试 灵感 。 例 如 ， 测 试 人 员 负 责 排版 软 
件 的 图 片 测试 。 他 知道 图 片 和 艺术 字 拥 有 一 组 相似 的 “特效 ”: BA 
影 、 倒 影 、 柔 化 边缘 、3D 效 果 等 ， 它 们 共 豆 部 分 代码 。 于 是 ， 他 
阅读 艺术 字 特 效 的 缺陷 报告 ， 将 茶 些 测试 设计 “移植 ?到 图 片 功能 ， 
从 而 使 图 片 测试 更 具 多 样 性 。 

追踪 软件 设计 。 需 求 分 析 和 功能 设计 都 不 可 能 完美 ， 测 试 人 员 会 
在 实际 使 用 软件 的 过 程 中 发 现 设计 的 缺陷 。 为 了 修正 该 缺陷 ， 产 品 
经 理 或 程序 员 会 修改 功能 设计 。 当 新 的 设计 缺陷 浮现 时 ， 他 们 可 能 











再 次 修改 设计 。 随 着 项 目 进 展 ， 最 初 的 规格 说 明 将 不 能 反映 当前 的 
设计 ， 而 新 设计 的 讨论 和 决策 部 保存 在 缺陷 报告 中 。 面 对 这 种 情 

况 ， 测 试 人 员 无 需要 求 产 品 经 理 更 新 规格 说 明 ， 因 为 将 信息 从 缺陷 
报告 搬运 到 规格 说 明 费 时 费力 ， 还 可 能 丢失 部 分 信息 和 可 退 踊 性 。 
最 简单 的 方法 是 在 缺陷 标题 中 增加 “设计 变更 来 标记 此 类 缺陷 

(有 些 缺 陷 管理 系统 文 持 “关键 字 ” 字 段 ， 也 可 以 将 “设计 变更 ”添加 
到 该 字段 ) 。 今 后 ， 他 可 以 用 关键 词 “ 设 计 变 更 ”得 询 缺 陷 管理 系 

统 ， 以 了 解 设 计 变 迁 的 历史 。 


忆 结 缺陷 模式 。 经 过 一 段 时 间 的 积累 ,测试 人 员 可 以 综合 多 个 相 

似 或 相关 的 缺陷 ， 提 烁 出 它们 的 模式 。 针 对 这 些 模式 ， 测 试 人 员 能 
够 提出 一 些 有 和 针对 性 的 测试 策略 ， 从 而 更 快 地 友 现 该 类 缺陷 。 此 

外 ， 一 些 缺 陷 模式 暗示 开发 过 程 存 在 问题 。 例 如 ,测试 人 员 友 现 多 
个 内 存 泄 漏 的 缺陷 报告 ， 这 可 能 暗示 程序 员 之 间 的 协作 存在 问题 : 

当 一 个 程序 员 调用 其 他 同事 的 模块 时 ， 他 并 不 了 解 该 模块 对 于 动态 
内 存 的 编程 约定 ， 在 进度 压力 下 他 和 赁 经 验 完 成 了 目 己 的 代码 ， 所 以 
没有 正确 地 释放 该 模块 返回 的 内 存 。 测 试 人 员 可 以 与 开发 经 理 当面 
讨论 这 些 缺 陷 报告 ， 帮 助 编程 团队 获得 过 程 改 进 的 信息 。 好 的 开发 
经 理会 感谢 测试 人 员 的 上 总结， 并 采取 相应 的 改进 措施 。 


持续 地 回顾 缺陷 报告 能 让 测试 人 员 更 好 地 理解 产品 、 技 术 和 团队 。 测 斌 
人 员 可 以 将 一 些 研究 成 果 用 邮件 、 小 组 讨论 等 方式 分 享 给 测试 小 组 。 在 
潜移默化 的 影响 下 ， 阅 读 缺 陷 报告 将 成 为 一 项 团队 的 学 习 活动 。 
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本 章 以 缺陷 报告 为 中 心 介绍 了 一 批 测试 实践 ， 它 们 与 测试 人 员 的 日 常 工 
作 紧 密 相关 。 


o 提交 缺陷 报告 的 目的 是 让 正确 的 缺陷 得 到 修复 。 达 成 这 一 目标 需要 
wR 


为 了 说 服 缺 陷 评 审 者 ， 测 试 人 员 要 通过 测试 去 调查 缺陷 的 普遍 性 
CRUE SAAT RE) 和 严重 性 (风险 糊 露 的 危害 ) 。 缺 陷 报 告 要 提 
供 足 够 的 证 据 以 说 明 该 缺陷 值得 处 理 。 


为 了 帮助 缺陷 修复 者 ， 测 试 人 员 要 通过 测试 去 获得 更 多 的 技术 信 
恩 。 对 于 难以 重 现 的 缺陷 ， 测 试 人 员 要 乐观 地 面 对 、 顷 密 地 测试 、 
Mibi E. 

测试 调查 可 能 需要 大 量 的 时 间 ， 测 试 人 员 可 以 用 时 间 盒 来 控制 时 
间 。 


好 的 缺陷 报告 是 独立 的 、 准 确 的 、 便 于 查询 的 、 完 整 的 、 易 读 的 、 
客观 的 。 


缺陷 上 诉 的 本 质 是 说 服 别 人 采纳 目 己 的 建议 ， 其 核心 工作 是 发 气 和 
收集 有 说 服 力 的 证 据 ， 并 通过 交流 将 证 据 传 递 给 缺陷 评审 者 。 


测试 人 员 的 “人 肪 ?来 目 高 质量 的 缺陷 报告 、 高 水 准 的 信息 服务 和 乐 
意识 地 拓展 “< 人脉 ”， 让 它 为 测试 
工作 服务 。 


测试 缺陷 修复 不 要 重复 已 有 的 测试 ， 应 该 引入 新 的 测试 ， 在 广度 和 
深度 上 拓展 测试 设计 。 


定期 阅读 缺陷 报告 是 一 项 有 益 的 学 习 活 动 ， 能 够 帮助 测试 人 员 更 好 
地 测试 。 





























第 3 和 草 测试 文档 


从 测试 工作 的 角度 ， 测 试 文档 大 致 可 以 分 成 两 类 : 产品 和 工具 
[Kaner01]. 


产品 是 供 他 人 阅读 和 使 用 的 文档 。 一 些 软件 项 目的 合同 要 求 项 目 团队 在 
交付 软件 的 同时 交付 一 批 规 定 的 文档 ， 其 中 的 一 些 文档 需要 测试 人 员 扎 
写 。 此 外 ， 茶 些 软件 过 程 认 证 对 项 目 文档 有 明确 的 要 求 。 为 了 通过 认 
证 ， 测 斌 人员 也 要 撰写 规定 格式 的 文档 。 


工具 是 测试 小 组 的 内 部 文档 或 测试 人 员 的 个 人 文档 ， 其 目的 是 帮助 测试 
人 员 更 好 地 测试 。 典 型 的 例子 是 测试 团队 的 内 部 Wiki 和 测试 人 员 的 笔 

记 ， 它 们 内 容 客 泛 、 格 式 灵活 、 形 式 多样 ， 专 注 于 实际 的 测试 工作 ， 而 
不 强求 文档 的 完备 与 整齐 。 


对 于 大 部 分 软件 项 目 ， 项 目 团 队 的 目标 是 交付 有 竞争 力 的 产品 ， 测 试 小 
组 的 任务 是 通过 技术 调 伍 提供 产品 的 质量 信息 。 因 此 ， 测 试 人 员 不 需要 
编写 严格 意义 上 的 “产品 >”， 即 交付 给 客户 和 认证 评估 小 组 的 文档 。 他 们 
编写 的 文档 都 是 团队 或 个 人 实施 测试 的 工具 ， 其 根本 价值 在 于 帮助 测试 
人 员 更 有 效 地 测试 。 偏 离 此 价值 的 文档 过 程 将 浪费 测试 资源 ， 且 阻碍 测 
试 人 员 有 效 地 工作 。 本 半 将 围绕 作为 “工具 ”的 测试 文档 ， 介 绍 一 些 编写 
和 维护 测试 文档 的 原则 与 方法 。 














3.1 ”测试 文档 是 持续 演化 的 工具 


作为 工具 的 测试 文档 需要 随 项 目 进 展 而 持续 演化 。 本 节 概 述 测 试 文档 的 
表现 形式 ， 并 讨论 编写 和 维护 文档 的 基本 方法 。 


3.1.1 测试 文档 是 提供 测试 信息 的 一 组 文档 


有 些 测试 文档 不 但 是 测试 小 组 的 工具 ， 也 是 项 目 团队 的 开发 辅助 工具 。 
通过 它们 ， 测 试 小 组 将 信息 传递 给 项 目 团 队 和 关系 人 ， 让 他 们 可 以 更 好 
地 作 决 定 。 在 编写 文档 时 ， 测 试 人 员 不 但 要 考虑 到 文档 的 实用 性 ， 还 要 
考 碟 读者 ， 为 他 们 提供 有 价值 的 信息 。 锅 见 的 项 目 范 围 的 文档 包括 以 下 


几 个 部 分 。 


。 测试 计划 : 记录 了 指导 测试 过 程 的 一 组 想法 区 aner01]， 概 括 地 论 
述 了 产品 特性 、 产 品 风险 、 测 斌 任务、 测试 资源 、 测 斌 进度 、 训 试 
团队 、 团 队 协 作 等 内 容 。 在 大 型 项 目 中 ， 测 试 计划 通 第 由 测试 经 理 
撰写 ;在 小 型 项 目 中 ， 测 试 人 员 可 以 撰写 一 份 文档 ， 包 含 测试 计划 
和 测试 设计 的 内 容 。 测 试 小 组 、 开 发 小 组 和 产品 经 理会 一 起 评审 测 
试 计 划 。 通 过 评审 ， 他 们 可 以 束 测 试 小 组 的 职员 、 开 友 小 组 的 职 
责 、 测 试 与 开发 小 组 如 何 协作 等 关键 问题 达成 一 致意 见 。 从 这 个 角 
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。 测试 设计 规约 : WR MRR (A MA T AE 
[Kaner01]) 和 详细 测试 设计 。 测 斌 人员、 程序 员 和 产品 经 理会 评审 
测试 设计 规约 ， 碍 漏 补缺 ， 提 出 改进 意见 。 在 评审 过 程 中 ， 测 试 人 
员 可 以 获得 更 多 的 测试 想法 ， 更 好 地 理解 软件 ， 程 序 员 可 以 获得 测 
试 信息 ， 更 好 地 编写 开发 者 测试 ， 产 品 经 理 能 够 了 解 测试 履 盖 ， 评 
估 项 目 风险 。 


。 测试 总 结 报告 : 汇报 执行 了 哪些 测试 、 履 盖 了 哪些 功能 、 获 得 了 
哪些 信息 、 以 及 未 来 的 测试 行动 等 内 容 。 通 过 阅读 测试 总 结 报告 ， 
测试 经 理 、 开 发 经 理 、 产 品 经 理 等 能 够 了 解 测 试 进度 、 产 品 问题 、 
项 目 风险 等 信息 。 这 为 下 一 步 的 项 目 规划 提供 了 基础 。 


。 缺陷 报告 :也 称 测试 事故 报告 +， 记 录 了 测试 中 发 现 的 软件 失败 。 











通过 缺陷 报告 ， 测 试 人 员 传递 了 产品 的 质量 信息 ， 并 帮助 开发 小 组 
修复 软件 缺陷 。 第 2 章 已 经 专题 讨论 缺陷 报告 ， 故 本 章 将 不 再 讨论 
该 类 文档 。 





1 术语 test incident report 来 自 于 IEEE 829 国 际 标准 Chttp://en.wikipedia.org/wiki/IEEE_829 ) 。 


除了 项 目 范 围 的 文档 ， 测 试 人 员 会 编写 一 些 测试 小 组 或 个 人 使 用 的 测试 
0 
种 类 型 。 








操作 文档 ， 用 详细 步 又、 屏幕 截图 、 操 作 视频 等 形式 记录 完成 革 
项 任务 的 过 程 。 测 试 涉及 安装 软件 、 配 置 测试 环境 、 操 作 产 品 等 任 
务 。 有 时 ， 这 些 任务 可 能 很 复杂 ， 或 需要 特定 的 知识 。 操 作文 档 使 
测试 小 组 的 所 有 成 员 都 可 以 按 图 索 台 ， 顺 利 完成 任务 。 


测试 笔记 : 记录 测试 过 程 ， 包 括 测 试 设计 、 软 件 缺 陷 、 测 试 友 
现 、 新 测试 想法 等 内 容 。 在 我 的 工作 中 ， 测 试 笔记 是 最 重要 的 测试 
文档 。 我 使 用 它 记 录 测 试想 法 ， 回 顾 测 试 过 程 ， 激 及 测试 灵感 。 


测试 资料 : 是 测试 人 员 收 集 整 理 的 测试 支持 材料 。 例 如 ， 测 试 人 
员 需 要 测试 一 款 Windows 8 应 用 ， 于 是 他 从 微软 网 站 获得 了 一 份 测 
试 指南 [Sundaram12]。 他 学 习 访 测试 资料 ， 擎 握 测 试 Windows 8 应 
用 的 基本 策略 ， 并 根据 当前 应 用 的 特点 ， 精 简 出 一 份 有 针对 性 的 测 
试 文档 。 为 了 适应 快速 发 展 的 软件 行业 ， 测 试 人 员 需 要 持续 收集 资 
料 ， 通 过 积极 阅读 ， 将 它们 整理 为 面向 实际 工作 的 文档 。 


移交 文档 : 概述 测试 对 象 的 特征 ， 记 录 了 前 任 测 试 人 员 的 经 验 与 
建议 。 通 过 阅读 该 文档 ， 继 任 的 测试 人 员 能 够 了 解 测试 对 象 ， 获 得 
相关 测试 资料 ， 从 而 快速 上 手 。 

测试 知识 库 : 记录 测试 小 组 的 知识 。 它 可 以 是 Wiki 网 站 ， 也 可 以 
是 共享 的 笔记 文件 。 


可 见 , “测试 文档 ?并 不 是 一 份 文档 ， 而 是 一 组 文档 。 因 为 软件 开发 是 一 
项 复杂 的 创新 过 程 ， 涉 及 形形色色 的 活动 与 关系 人 ， 所 以 单一 的 文档 满 
足 不 了 多 样 化 的 需求 。 测 试 小 组 要 根据 项 目 实际 情况 ， 决 定 要 编写 哪些 
文档 ， 以 及 这 些 文档 要 满足 何 种 要 求 。 





3.1.2 ”在 测试 中 演化 测试 文档 


测试 是 迭代 过 程 ， 作 为 工具 的 测试 文档 也 需要 “与 时 俱 进 "*。 以 测试 设计 
文档 为 例 ， 其 价值 在 于 准确 地 描述 软件 的 特性 、 当 前 的 风险 、 针 对 特性 
和 风险 的 测试 集 略 等 。 如 果 测 试 设计 文档 不 反映 软件 的 当前 情况 ， 不 针 
对 项 目 过 程 中 浮现 的 风险 ， 不 体现 测试 人 员 通 过 测试 获得 的 知识 ， 那 么 
按照 此 文档 执行 测试 将 损害 测试 的 效果 。 或 者 ， 测 试 人 员 意 识 到 文档 已 
经 过 时 ， 便 将 其 束之高阁 ， 任 自己 的 经 验 进行 测试 。 这 使 得 投入 在 文档 
上 的 努力 付 诸 东 流 ， 也 导致 测试 人 员 可 能 错过 一 些 已 知 的 重要 测试 。 


为 了 让 测试 文档 持续 演进 ， 最 自然 的 方法 古 利用 测试 的 迭代 本 质 ， 在 每 
一 个 迭代 中 “ 按 需 更 新 ”测试 文档 。 如 图 3-1 所 示 ， 测 试 人 员 将 测试 设 
计 、 测 试 执行 、 测 试 评估 、 测 试 学 习作 为 相互 支持 的 活动 ， 在 项 目 过程 
中 迭代 地 执行 。 在 每 一 项 活动 中 ， 他 都 可 以 更 新 测试 文档 ， 让 文档 更 新 
成 为 测试 的 一 部 分 。 如 果 能 做 到 “ 随 风光 入夜， 润 物 细 无 声 "一 一 将 文档 
维护 融入 测试 过 程 ， 那 么 测试 文档 就 能 成 为 “ 活 的 ”文档 ， 其 维护 阻力 也 
能 显著 降低 。 














图 3-1 在 测试 迭代 中 演化 测试 文档 


最 常见 的 测试 迭代 是 测试 新 的 构建 。 在 此 过 程 中 ， 测 试 人 员 将 测试 文档 
作为 行动 的 参考 ， 将 测试 作为 文档 更 新 的 驱动 力 。 





。 测试 设计 : 在 获得 新 构建 后 ， 测 试 人 员 回 顾 现 有 的 文档 ， 通 过 一 
些 启发 式 问题 来 思考 测试 任务 。 这 份 测试 设计 完整 吗 ? 上 次 测试 发 
现 了 什么 问题 或 风险 ? 针对 这 些 问题 和 风险 ， 需 要 调整 测试 设计 
吗 ? 根据 上 次 的 测试 结果 ， 哪 些 功能 只 需 简 单 测试 ， 哪 些 功 能 需要 
重点 测试 ， 哪 些 测试 不 必 运 行 ， 哪 些 测试 需要 深化 ? 通过 思考 这 些 
问题 ， 他 可 以 优化 测试 设计 ， 并 更 新 测试 文档 。 


。 测试 执行 : 在 运行 测试 时 ， 测 试 人 员 会 发 现 一 些 新 信息 ， 他 会 将 
重要 的 信息 记录 下 来 。 例 如 ， 他 学 习 到 一 些 产品 的 知识 ， 对 于 测试 
设计 很 有 帮助 ， 他 束 会 写 入 测试 笔记 。 再 例如 ， 他 在 测试 执行 中 产 
生 了 新 的 测试 想法 ， 他 就 会 补充 到 测试 设计 文档 中 。 还 例如 ， 他 发 
A 

RRR 。 


。 测试 评估 : 测试 人 员 不 但 会 评估 软件 的 行为 ， 还 会 评估 测试 的 效 
朵 。 在 测试 过 程 中 ， 测 试 人 员 会 多 次 俘 看 测试 笔记 ， 以 检查 测试 履 
盖 情 况 ， 并 发 掘 更 多 的 测试 想法 。 由 于 软件 的 复杂 性 ， 许 多 信息 仅 
在 测试 执行 时 才 会 暴露 出 来 。 测 试 人 员 应 该 利用 这 些 信息 ， 去 完善 
测试 设计 ， 整 理 出 未 来 的 测试 重点 ， 并 记录 在 案 。 


。 测试 学 习 : 测试 人 员 会 根据 测试 反馈 ， 去 学 习 更 多 的 知识 ， 并 整 
理 成 面向 测试 的 文档 。 测 试 设计 、 执 行 和 评估 可 以 看 作 学 习 软 件 和 
技术 的 过 程 ， 测 试 人 员 会 通过 测试 笔记 和 测试 设计 文档 来 记录 所 学 
到 的 知识 。 除 此 之 外 ， 测 试 人 员 还 可 能 花 时 间 学 习 一 些 专项 知识 。 
例如 ， 因 为 被 测 系 统 包含 数据 库 ， 测 试 人 员 会 特意 学 习 一 些 数据 库 
的 知识 。 学 习 要 有 明确 的 产 出 ， 人 否则 很 容易 流 于 形式 。 为 此 ， 测 试 
人 员 会 根据 所 学 内 容 编 写 一 些 测试 资料 ， 例 如 一 份 数 据 库 第 见 软 件 
错误 列表 或 一 份 数 据 库 测试 的 想法 列表 。 

可 见 ， 测 试 文档 与 测试 达 代 是 相互 促进 的 。 测 试 文档 为 测试 学 习 、 设 
计 、 执 行 、 评 估 提 供 信 息 ， 帮 助 测试 人 员 有 效 地 测试 ， 在 测试 从 代 中 ， 
测试 人 员 获 得 更 多 的 知识 ， 从 而 增强 测试 文档 。 这 样 的 民 性 循环 会 稳步 
提高 测试 质量 。 


3.1.3 ”注重 实效 的 测试 文档 


在 阅读 上 市 时 ， 读 者 可 能 会 产生 疑惑 ， 在 测试 过 程 中 时 刻 维护 测试 文档 
会 不 会 占用 大 量 的 测试 时 间 ， 进 而 影响 到 测试 效 京 ?我 的 建议 是 : 测试 





























文档 应 该 内 容 精 炼 、 格 式 灵活 、 相 互 参考 ， 从 而 尽 可 能 降低 维护 的 代 


价 。 


虽然 测试 文档 具有 多 种 形式 ， 其 核心 仍旧 是 测试 。 对 于 测试 人 员 而 言 ， 
其 内 容 不 外 乎 ， 需 要 测试 的 功能 和 属性 测试 对 象 和 测试 履 盖 ) 、 如 何 
实施 测试 (测试 设计 与 测试 执行 )、 如 何 判 断 软件 是 否 出 错 〔 测 试 先 

知 〉》、 测 试 过 程 中 发 现 了 哪些 信息 (测试 发 现 ) 、 测 试 进度 和 测试 资 

源 。 其 中 ， 测 试 获 盖 与 测试 设计 《这 两 个 概念 在 实际 测试 中 紧密 相关 ) 
征 核心 元 素 。 在 训 试 实战 中 ， 测 试 人 员 可 以 用 测试 禾 凋 大 纲 或 测试 想法 
列表 为 核心 文 梯 ， 用 它 来 豫 动 测试 设计 和 执行 ， 并 记录 测试 所 发 现 的 信 





一 种 很 简单 的 测试 履 新 大 纲 是 功能 列表 [Kaner11]。 如 图 3-2 所 示 ， 
PowerPoint 人 允许 用 户 在 幻灯 片 中 插入 图 片 并 编辑 。 对 于 PowerPoint 的 图 
片 功能 ， 测 试 人 员 可 以 建立 如 图 3-3 所 示 的 PowerPoint 图 片 功能 符号 列表 
对 图 片 功能 建 模 。 限 于 篇 幅 ， 该 功能 列表 只 列 出 了 PowerPoint 图 片 的 部 
分 功能 (深入 的 测试 需要 更 详细 的 功能 列表 )〉 ， 但 是 它 很 好 地 体现 了 功 
能 列表 的 特点 。 这 些 特点 也 是 注重 实效 的 测试 文档 所 需要 考虑 的 要 素 。 
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图 3-2 PowerPoint 的 图 片 功能 
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。 操作 ( “图 片 工 具 ” 下 的 命令 ) 
o 调整 
lo 图 片 样式 
o 排列 
o 大 小 
。 应 用 ( 将 图 片 与 其 他 元 素 组 合 使 用 ) 
o 文本 
o 形状 
o SmartArt 
2 图表 
。 另存 为 图 片 ( 输 出) 
o 被 输出 对 条 
= 文本 
= 形状 
= SmartArt 
= ER 
o 输出 图 片 格式 
。 打印 含 图 片 的 文档 
o 物理 打印 机 
o 虚拟 打印 机 
= PDE 
= XPS 
。 ” 读 写 含 图 片 的 文档 
o 保存 
o R 
?0 BERS 


图 3-3 图 片 的 功能 列表 


第 一 ， 它 建立 了 被 测 对 象 的 整体 模型 。 功 能 列表 的 顶层 条 目 将 图 片 功 
能 划分 为 6 个 功能 区 域 ， 输 入、 操作 、 应 用 、 输 出 、 打 印 和 文件 读 写 ， 

这 可 以 帮助 测试 人 员 全 面 地 思考 被 测 对 象 。 测 试 人 员 可 以 分 别 测 试 每 个 
功能 区 域 ， 也 可 以 构思 测试 情景 去 测试 多 个 功能 区 域 的 交互 。 更 重要 的 





是 ， 功 能 列表 并 不 是 一 成 不 变 的 ， 随 着 测试 的 进展 ， 测 试 人 员 可 以 根据 
新 的 认识 调整 功能 列表 的 顶层 条 目 〈 功 能 区 域 ) 。 这 样 的 调整 体现 了 测 
试 有 反馈 对 测试 模型 的 修正 ， 也 说 明 测 试 文档 既 提供 了 测试 灵感 ， 又 记录 
了 测试 押 获 得 的 新 知 。 


第 二 ， 它 提供 了 可 扩展 的 测试 设计 框架 。 功 能 列表 的 层次 结构 让 测试 
人 员 可 以 持续 地 补充 细节 。 在 茶 个 条 目下 ， 他 可 以 增加 更 详细 的 功能 或 
针对 该 条 目的 测试 想法 。 在 初始 测试 设计 获得 基本 的 层次 结构 后 ， 对 功 
能 列表 的 补充 都 是 在 测试 迭代 中 *“ 按 需 ? 发 生 的 。 当 功能 列表 增长 到 一 定 
程度 后 ， 测 试 人 员 可 能 及 现 原 有 结构 并 不 理想 ， 他 会 对 其 进行 调整 ， 例 
如 增加 新 的 顶层 条 目 、 将 一 些 子 条 目 移 动 到 新 的 顶层 条 目 等 。 调 整 结构 
说 明 测 试 人 员 的 知识 突破 了 原先 的 水 平 ， 新 的 模型 更 符合 产品 的 本 质 。 
许多 测试 人 员 喜 欢 用 思维 导 图 来 记录 功能 列表 〈 见 图 3-4) ， 它 布局 紧 
次 ， 能 够 一 览 全 貌 ， 从 而 更 容易 增加 想法 和 调整 结构 。 
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图 3-4 功能 列表 的 思维 导 图 形式 


第 三 ， 它 提供 了 测试 覆盖 的 目标 。 功 能 列表 的 主干 是 产品 的 功能 ， 这 
提供 了 功能 禾 关 的 目标 。 它 也 很 容易 纳入 其 他 训 试 禾 凋 类 型 ， 例 如 “ 打 
印 仿 图片 的 文档 ”包含 子 项 目 “ 物 理 打印 机 ”和 “虚拟 打印 机 ””， 这 包含 了 
FRA mH H Pno 


第 四 ， 它 用 简洁 的 形式 提供 丰富 的 信息 。 在 图 3-3 中 ，“ 图 片 格 

式 "和 “PDF” 都 包含 指向 其 他 文档 的 链接 。 在 测试 这 两 个 功能 时 ， 测 试 人 
员 可 以 参考 所 链接 的 文档 ， 获 得 更 详细 的 信息 。 测 试 需要 一 组 文档 的 支 
持 ， 核 心 文档 只 记录 必要 了 内容， 更 详细 的 信息 可 以 链接 到 其 他 文档 。 这 
样 做 可 以 保持 核心 文档 的 简洁 ， 让 测试 人 员 快速 地 掌握 全 局 ， 并 降低 最 
常用 文档 的 维护 开销 。 


文档 相互 链接 是 一 项 好 的 实践 。 这 让 多 份 文档 相互 广 持 、 紧 密 联 系 ， 使 
之 成 为 互 为 补充 的 文档 集 。 测 试 人 员 对 软件 的 认 知 总 是 逐步 增强 的 ， 补 
充 新 的 文档 ， 让 它 与 已 有 文档 相互 联系 ， 是 一 个 渐进 的 学 习 过 程 ， 其 结 
朵 是 一 个 逐渐 完善 的 领域 模型 。 


第 五 ， 它 格式 灵活 ， 人 允许 用 多 种 方式 记录 信息 。 功 能 列表 的 条 目 通 常 
是 词语 或 语句 片段 ， 配 合 助 记 符 〈 如 图 3-3 中 的 问号 ) ， 能 让 测试 人 员 
快速 记录 测试 想法 和 测试 肥 现 。 在 测试 达 代 中 ， 此 类 灵活 且 非 正式 的 表 
达 通 第 更 局 效 。 例 如 ， 测 试 人 员 可 以 定义 自己 的 助 记得 ,用 目 己 最 习惯 
的 方式 记录 信息 。 这 体现 了 测试 文档 的 “工具 ”属性 一 一 它 应 该 帮助 测试 
人 员 ， 而 不 是 限制 甚至 阻碍 他 的 发 挥 。 如 果 测 试 人 员 需 要 提交 正式 的 测 
试 报告 ， 他 可 以 根据 词语 和 助 记 符 ， 补 充 记录 测试 范围 、 测 试 设计 、 测 
试 结果 和 总 体 评估 。 


功能 列表 并 不 是 组 织 测试 想法 的 唯一 方法 。 不 同 的 测试 任务 有 不 同 的 需 
求 ， 需 要 不 同形 式 的 核心 文档 ， 以 下 是 一 些 例子 。 


。 功能 测试 可 以 以 功能 列表 为 骨干 、 以 测试 想法 为 叶 市 点， 其 表现 形 
式 是 符号 列表 或 思维 导 图 。 


测试 一 个 产品 补丁 时 ， 测 试 人 员 可 以 从 测试 想法 的 思维 导 图 中 抽取 
各 二 分 文 ， 构 成 新 的 思维 导 图 。 测 试 补 丁 不 需要 完整 的 思维 导 图 ， 
不 过 沼 第 要 将 几 个 分 广 合 在 一 起 考虑 ， 以 周密 地 测试 产品 的 一 个 部 


The 





























。 浏览 右 兼 容 性 测试 可 以 以 “功能 一 浏览 右 ? 算 阵 为 核心 ， 其 表现 形式 
通常 是 表格 〈 详 细 案 例 参见 3.2.5 节 ) 。 


。 在 安全 测试 时 ， 测 试 人 员 可 以 从 一 份 安全 测试 的 缺陷 目录 开始 测试 
《缺陷 目录 的 讨论 参见 3.2.12 节 ) 。 该 缺陷 目录 记录 了 和 典型 缺陷 、 
失败 症状 、 攻 击 手段 、 可 用 工具 等 信息 。 根 据 这 些 信息 ， 测 试 人 员 
可 以 构造 测试 用 例 ， 去 挖掘 隐藏 的 缺陷 。 


可 见 ， 测 试 任务 的 多 样 性 导致 测试 文档 的 多 样 性 。 在 一 个 复杂 的 项 目 

中 ， 测 试 人 员 很 可 能 需要 执行 多 项 测试 任务 。 面 对 此 类 和 情况， 维护 厂 干 
份 目标 明确 的 简洁 文档 ， 其 效率 要 优 于 维护 一 份 无 所 不 包 的 长 访 文 档 。 
测试 人 员 可 以 参考 如 下 的 文档 维护 策略 。 


© 在 项 目 早 期 编写 测 试 设计 规约 ， 概 述 测试 策略 。 邀 请 产品 经 
理 、 程 序 员 、 测 试 经 理 等 进行 评审 ， 并 根据 反馈 意见 做 出 修改 。 


在 测试 设计 规约 的 指导 下 ， 为 测试 活动 收集 、 复 用 、 编 写 、 改 进 
测试 文档 。 在 特定 的 测试 活动 中 ,测试 人 员 可 以 复 用 与 修订 测试 
设计 规约 ， 可 以 编写 一 页 篇 幅 的 简洁 文档， 也 可 以 即兴 训 试 。 总 
之 ， 从 实战 出 用， 只 做 必要 的 文案 工作 。 


将 文档 集中 管理 ， 并 周期 性 地 备份 。 可 能 的 做 法 包括 : 将 文档 提 
交 到 源 代码 管理 系统 、 将 文档 保存 在 共 译 目 录 、 将 文档 保存 在 内 部 
网 站 、 将 内 容 写 入 共享 的 测试 知识 库 等 。 测 试 文档 是 重要 的 测试 资 
产 ， 值 得 慎重 保管 。 


请 同事 评阅 文档 。 在 生成 一 幅 思维 导 图 或 一 个 配置 矩阵 后 ， 测 试 
人 员 可 以 用 邮件 评审 或 更 面 走 查 的 方式 ， 邀 请 相关 同事 评阅 测试 设 
计 。 与 评审 十 几 页 的 文档 相 比 ， 检 查 一 页 篇 幅 的 文档 开销 很 低 ， 却 
能 够 快速 提供 有 价值 的 意见 。 如 果 测 试 人 员 和 同事 和 面对面 地 讨论 ， 
通过 头脑 风 其 在 短 时 间 内 可 以 激发 出 更 多 的 测试 想法 。 


在 项 目的 重要 里 程 碑 完成 时 ， 整 理 已 有 文档 。 可 能 的 做 法 包括 : 
将 一 些 有 价值 的 内 容 移入 测试 设计 规约 、 链 接 相 关 文 档 、 补 充 测试 
知识 库 、 编 写 测试 移交 文档 等 。 


作为 工具 的 测试 文档 ， 其 价值 取决 于 它 能 够 帮助 测试 人 员 组 织 测 试 并 找 
到 缺陷 的 程度 [Kaner99]。 所 谓 “ 注 重 实效 的 文档 ”就 是 聚焦 于 文档 的 基本 















































价值 ， 舍 弃 不 必要 的 修饰 。 一 份 直抵 核心 的 文档 更 容易 编写 、 阅 读 、 修 
改 和 流传 。 


3.2 ”形形色色 的 测试 文档 


本 节 介 绍 一 些 稼 见 的 测 斌 文档。 它们 可 以 单独 成 文 ， 也 可 以 组 合 在 一 起 
构成 更 周详 的 文档 。 虽 然 形 式 不 同 ， 但 是 功能 主要 有 以 下 3 个 
[Kaner99]. 


。 为 完成 技术 任务 提供 便利 : 测试 文档 提供 技术 信息 ， 以 支持 更 好 
地 测试 设计 和 执行 。 


。 改善 测试 任务 和 测试 过 程 之 间 的 联系 : 测试 文档 解释 测试 策略 背 
后 的 思想 、 测 试 的 覆盖 范围 、 测 试 工 作 的 规模 、 测 试 的 深度 和 广 
度 、 测 试 分 工 等 ， 从 而 帮助 测试 小 组 与 整个 项 目 团队 交流 和 协作 。 


© 为 组 织 、 规 划 和 管理 测试 项 目 提供 结构 : 测试 文档 提供 管理 结 
构 ， 让 测试 经 理 更 好 地 管理 测试 项 目 ， 让 测试 小 组 更 好 地 为 项 目 服 
务 。 


3.2.1 测试 计划 


测试 计划 是 一 组 指导 测试 过 程 的 想法 [区 aner01]。 制 订 恨 好 的 测试 计划 需 
要 深入 评估 项 目 情况 ， 充 分 利用 测试 资源 ， 合 理 安排 测试 任务 。 在 此 过 
程 中 ， 测 试 人 员 可 以 参考 James Bach 提 出 的 启发 式 测试 计划 的 语 境 模型 
(Heuristic Test Planning Context Model, HTPCM) [Bach00al 
[Kaner01]. 


图 3-5 展 示 了 HTPCM 的 基本 元 素 ， 其 中 测试 过 程 是 核心 ， 测 试 任务 决定 
了 测试 过 程 的 目标 。 计 划 制 订 者 要 根据 语 境 〈 开 发、 测试 团队 、 测 试 实 
验 室 、 需 求 ) 来 决定 测试 过 程 和 测试 任务 。 


















任务 


寻找 重要 的 缺陷 对 质量 保证 提出 建议 
评估 质量 和 风险 ”对 测试 提出 建议 
标准 认证 对 质量 提出 建议 
满足 过 程 要 求 ”最 大 化 效率 
服务 关系 人 最 小 化 开销 
承担 责任 最 小 化 时 间 




















开发 





























产品 愿景 
项 目 环境 了 
项 目 管理 方法 测试 过 程 Pega 
配置 管理 制度 测试 策略 参考 资料 
缺陷 预防 手段 保障 条 件 aiii 
开发 小 组 工作 产品 









测试 团队 






测试 实验 室 















专家 经 验 测试 平台 

工作 负载 测试 工具 

pores 测试 程序 库 
id 动 J ter ERZA 
领导 力 te 






项 目 协作 
图 3-5 启发 式 测试 计划 模型 


。 需求 : 是 产品 获得 成 功 的 条 件 ， 包 括 产品 愿景 、 关 系 人 的 期 望 、 
质量 标准 、 参 考 资料 等 。 计 划 测 试 的 过 程 也 是 一 个 学 习 需 求 的 过 
程 ， 只 有 理解 需求 才能 正确 地 设 定 测试 目标 。 


。 开 发 : 是 产品 开发 的 环境 ， 包 括 被 测 产品 、 项 目 周期 、 项 目 管 理 
方法 、 配 置 管理 制度 、 缺 陷 预 防 手段 、 开 发 小 组 等 。 开 发 环境 对 测 
试 小 组 的 工作 方式 有 很 大 影响 。 测 试 小 组 要 推动 开发 环境 的 改变 ， 
A 

NAB A| Š. 


。 测试 团队 : 是 测试 小 组 的 特点 ， 包 括 专家 经 验 、 工 作 负 载 、 团 队 























凝聚 力 、 团 队 动 力 、 领 导 力 、 项 目 协作 等 。 


测试 实验 室 : 是 测试 小 组 可 使 用 的 软 硬 件 资源 ， 包 括 测试 平台 、 
测试 工具 、 测 试 程序 库 、 缺 陷 管 理 系统 、 办 公设 备 等 。 


任务 : 是 测试 小 组 要 提供 的 服务 ， 可 能 的 选择 包括 寻找 重要 的 缺 
陷 、 评 估 质 量 和 风险 、 标 准 认 证 、 满 足 过 程 要 求 、 服 务 关系 人 、 承 
担 责 任 、 对 质量 保证 提出 建议 、 对 测试 提出 建议 、 对 质量 提出 建 
议 、 最 大 化 效率 、 最 小 化 开销 、 最 小 化 时 间 等 。 训 试 资 源 总 是 有 限 
的 ， 测 试 小 组 要 确定 可 承担 的 服务 ， 并 与 整个 项 目 团 队 交 流 ， 以 达 
E R 


MATTE + E EARME AT m ATRE, HE EMAR 
略 、 保 障 条 件 、 工 作 产 品 。 


o 策略 : 是 实施 测试 的 指导 思想 。 测 试 计划 需要 讨论 测试 内 
容 、 测 试 重点 、 测 试 优 先 级 、 测 试 方法 等 内 容 。 


保障 : 曾 述 如 何 利用 测试 资源 实现 测试 策略 ， 包 括 谁 做 测 
试 、 何 时 测试 、 需 要 何 种 软件 、 需 要 何 种 硬件 等 。 


产品 : 是 测试 过 程 的 产 出 。 和 常见 的 产品 包括 测试 设计 规约 、 
自动 化 测试 用 例 、 测 试 工具 、 缺 陷 报 告 、 测 试 总 结 报告 。 测 试 
小 组 需要 与 服务 对 象 讨 论 ， 明 确 产品 的 类 型 和 了 要求。 
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在 HIPCM 的 指引 下 ， 测 试 计 划 者 根据 语 境 来 完成 测试 计划 [Bach00a] 
[Bach99]. 


了 解 谁 是 测试 小 组 的 服务 对 象 、 他 们 重视 什么 、 需 要 什么 服务 。 


了 解 并 协商 当前 项 目 对 测试 工作 的 要 求 和 约束 ， 以 及 能 获得 的 测试 
资源 “人 人员、 时间、 软件 、 硬 件 等 )。 


分 析 产 品 和 产品 风险 ， 建 立 产 品 和 风险 的 初步 模型 。 
协商 并 确定 测试 任务 。 
根据 要 求 、 约 束 、 资 源 和 任务 ， 制 定 测 试 过 程 。 其 中 ， 测 试 任务 决 





定 测 试 倘 略 和 测试 产品 ， 测 试 集 略 指导 保障 安排 ， 而 保障 安排 所 能 
使 用 的 资源 义 约 束 了 测试 策略 的 选择 一 一 测试 打上 略 与 保障 安排 相互 
依赖 且 彼 此 影响 。 


。 分 译 并 交流 测试 计划 ， 使 整个 项 目 团 队 理 解 测 试 安排 ， 并 获得 相关 
反馈 。 


。 监控 项 目 情况 ， 并 持续 调整 测试 过 程 ， 使 项 目 、 任 务 和 测试 过 程 可 
以 和 谐 一 致 。 


HTPCM 的 特征 是 测试 计划 者 通盘 考虑 产品 需求 、 项 目 环境 、 测 试 小 
组 、 测 斌 资源， 明确 测 试 任务 ， 并 制订 相应 的 测试 过 程 。 它 认为 好 的 测 
试 计 划 是 基于 语 境 的 ， 只 有 符合 项 目 情况 的 测试 方案 才能 有 效 地 工作 。 
正如 软件 专家 Gerald M. Weinberg 所 说 ， 测 试 方法 各 有 了 巧妙， 无 所 谓 好 
坏 。 讨 论 “ 优 秀 ”， 不 应 该 只 考 虑 测试 方法 本 身 ， 而 是 要 考虑 测试 、 实 现 
和 环境 是 否 紧密 联系 ， 即 “优秀 ”是 对 测试 、 实 现 和 环境 之 间 关 系 的 描述 
[Weinberg08]. 


作为 测试 计划 的 成 果 ， 测 试 计划 文档 记录 了 测试 小 组 的 选择 与 安排 。 表 
3-1 引 用 了 Chrome OS 测试 计划 的 章节 标题 [Whittaker12]。 不 难看 出 ， 测 
试 计划 的 作者 Jason Arbon 将 测试 过 程 与 开发 过 程 紧 密 结合 ， 并 根据 语 境 
作出 了 一 系列 决策 。 


K 3-1 Chrome OS 测试 计划 














标题 


a 所 讨论 的 内 容 
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stay 





sag | 总 论 测 试 小 组 的 任务 和 基本 策略 
o 测试 过 程 之 |。 使 用 基于 风险 的 测试 策略 
。 在 目标 硬件 矩阵 上 运行 测试 自动 化 















































e 支持 快速 的 开发 迭代 

o 开放 工具 和 测试 的 源 代 码 
ee 任务 、 测 试 过程 之 |。 将 Chrome OS 作为 Chrome 浏 览 器 的 首要 平台 
‘le 策略 (优先 级 高 于 其 他 操作 系统 ) 

e 测试 的 任务 是 提供 质量 相关 数据 

e 关注 可 测试 性 











A > 立 品 ne 





针对 所 有 构 
n 测试 过 程 之 策略 “| 每 个 构建 都 要 执行 的 测试 : 冒 烟 测试 和 性 能 测试 
id 











每 天 对 于 最 新 的 可 测 构 建 进行 持续 测试 
e 手工 的 验收 测试 

针对 最 新 可 e 自动 化 功能 性 回归 测试 

测 构 建 的 每 | 测试 过 程 2 © 运行 最 热门 web app 的 测试 用 例 

日 测试 e 压力 测试 、 持 续 测 试 、 稳 定性 测试 
e 持续 的 手工 探索 式 测 试 和 漫游 测试 
o 针对 自动 更 新 的 测试 














对 于 发 布 候选 构建 的 测试 

针对 发 布 候 

选 构建 的 测 | 测试 过 程 2 LeU ata 

ie 压力 和 稳定 性 测试 
。 手 工 测 斌 




















平衡 手工 测 
E SR ns 解释 手工 测试 和 自动 化 测试 的 适用 范围 ， 为 测试 
WA E 动 化 王 资源 运用 提供 指 E 


测试 





























开发 与 测试 ne me ee 
小 组 的 质量 | 开发 之 开发 团队 fee ae 小 组 和 测试 小 组 各 自 承 担 何 种 质量 


HE 


















































概述 产品 发 布 的 阶段 与 过 程 















































如 何 获取 用 户 反 馈 和 组 织 他 们 的 数据 








HAS | 测试 过 程 之 产品 如 何 保存 手工 测试 用 例 和 自动 化 测试 用 例 

















测试 仪表 盘 | 测试 过 程 之 产品 “| 测试 小 组 将 质量 数据 用 可 视 化 的 方式 展示 出 来 





BRS SE CIN | 测试 小 组 将 利用 虚拟 化 技术 来 提高 测试 效率 





























测试 过 程 之 策略 述 性 能 测试 策略 

















测试 过 程 之 策略 ome 持续 测试 、 稳 定性 测试 的 测试 策 














测试 执行 框 | 测试 实验 室 之 测试 | 解释 了 开发 和 测试 小 组 所 使 用 的 测试 执行 框架 
架 程序 库 Autotest 





RES A AW | eet oe ee 
RS he ”| 解释 了 测试 小 组 如 何 与 OEMJ 厂 商 合作 











测试 实验 室 之 测试 
平台 、 测 试 过 程 之 | 概述 测试 所 需要 的 硬件 资 ; 
保障 条 件 












































Ui ify I) 端 测 试 BIFX yu D 六 
gria 测试 过 程 之 策略 ln ane 策略 ， 其 目标 是 覆盖 大 



























































P 测试 过 程 之 策略 | 解释 如 何 测试 浏览 器 的 应 用 管理 





























阅 述 如 何 实现 浏览 器 可 测试 性 
浏览 器 可 测 o 将 Selenium 和 WebDriver 移 植 到 Chrome OS 
试 性 之 之 产品 ° 通过 JavaScript DOM 来 暴露 Chrome 的 用 户 界 面 


更 高 抽象 水 平 的 自动 化 脚本 






























































测试 过 程 之 策略 “| 解释 测试 小 组 所 测试 的 硬 









































时 间 线 开发 之 项 目 周期 解释 了 5 个 里 程 碑 (2009 年 4 季度 、2010 年 1 季度 、 
2010 年 2 季度 、2010 年 3 季度 、2010 年 4 季度 ) 分 别 
要 达成 哪些 目标 





























主要 测试 驱 | 天 发 项目 管理 。 | 列举 了 测试 活动 的 驱动 角色 ， 他 们 会 领导 特定 的 
动 角色 | 开 必 之 项 目 管理 | 测试 活动 














举 了 相关 测试 支持 文档 

















值得 一 提 的 是 ，Chrome OS 测 试 计 划 只 有 10 页 (B5 幅 面 ) 。 对 于 如 此 规 
模 的 产品 ， 这 确实 是 一 份 非常 精炼 的 文档 。 这 样 做 是 为 了 让 每 位 测试 人 
员 都 能 读 完 测试 计划 ， 并 立即 了 解 最 重要 的 策略 和 安排 。 对 于 一 个 大 型 
项 目 ， 如 此 短小 的 纲领 性 文件 有 助 于 形成 团队 共识 ， 并 聚焦 重点 。 人 至 于 
更 详细 的 技术 内 容 ， 该 文档 提供 了 一 组 外 部 链接 (相关 文档 ) ， 供 测试 
人 员 有 选择 地 参考 。 这 些 相 关 文 档 通 常 由 测试 驱动 者 编写 ， 能 够 为 实际 
测试 提供 有 力 文 持 。 

3.2.2 Google ACC 

ACC (Attributes, Components, Compatibilities) 是 Google 测 试 团 队 使 用 
的 一 种 建 模 方 法 ， 用 来 快速 地 建立 产品 的 模型 ， 以 指导 下 一 步 的 测试 设 
计 [Whittaker12]. Google 的 工程 师 还 开发 了 文 持 ACC 的 web 应用， 并 将 
其 开源 “ 。 


2 详 Jlhttp://code.google.com/p/test-analytics/ o 








运用 ACC 建 模 的 第 一 步 是 确定 产品 的 属性 。 属 性 是 产品 的 形容 词 ， 是 与 
a 按照 敏捷 开发 的 观点 ， 属 性 是 产品 交付 的 
均 心 价值 。 


《Google 软 件 测试 之 道 》 (How Google Tests Software ， 简 称 HGTS ) 详 
细 介 绍 了 Google+ 的 ACC 模 型 ， 其 中 Google+ 的 属性 如 下 。 


。 社交 : 或 励 用 户 去 分 享 信息 和 他 们 的 状态 。 
。 AWA: 用 户 可 以 运用 各 种 功能 去 表达 上 自我。 








。 自如: 让 用 户 以 直观 的 方式 做 他 们 想 做 的 事 。 

。 相关 : 只 显示 用 户 感 兴趣 的 内 容 。 

e 可 扩展 : 能 够 与 Google 的 已 有 功能 、 第 三 方 网 站 和 应 用 集成 。 

e 隐私 : 用 户 数据 不 会 泄漏 。 
ACC 以 属性 开始 ， 是 产品 竞争 的 自然 选择 ， 也 符合 Google 的 开发 实践 。 
在 Google 的 项 目 中 ， 程 序 员 和 测试 人 员 的 比例 通常 是 10 : 1 或 更 高 。 程 
序 员 会 编写 大 量 的 自动 化 测试 用 例 ， 对 产品 实施 周密 的 测试 ， 因 此 测试 
人 员 主 要 关注 用 户 价值 和 系统 测试 。 即 便 如 此 ， 测 试 人 员 也 没有 足够 的 
资源 测试 所 有 用 户 行为 。 因 此 ， 测 试 人 员 通 过 属性 来 明确 产品 的 核心 价 
值 ， 从 而 区 分 出 测试 对 象 的 轻重 缓急 。 获 取 属 性 的 信息 源 可 以 是 产品 经 
理 、 市 场 营销 人 员 、 技 术 布 道 者 、 商 业 宣 传 材料 、 产 品 广告 等 。 测 试 人 
员 也 可 以 使 用 “卖点 漫游 * 来 发 气 和 检验 产品 的 卖点 [Whittaker09] (5.4 节 
将 讨论 漫游 测试 ) 。 


第 二 步 是 确定 产品 的 部 件 。 部 件 是 产品 的 名 词 ， 可 以 理解 为 产品 的 主要 
模块 、 组 件 、 子 系统 。HGTS 给 出 的 Google+ 部 件 如 下 。 


© 个 人 资料 : 用 户 的 账户 信息 和 兴趣 爱好 。 
人 脉 : 用户 已 经 连接 的 好 友 。 
言 轧 流 : 由 帖子 、 评论 、 通知 、 照片 等 组 成 的 有 序 的 信息 流 。 


T 将 好 友 分 组 ， 例 如 把 不 同 的 好 友 归 于 “朋友 ”“ 同 事 ” 等 小 
组 。 


通知 : 当 用 户 在 帖子 中 被 提 到 时 ， 回 他 显示 提示 信息 。 
视频 群 聊 : 视频 对 话 的 小 组 。 

帖子 : 用 户 和 好 友 发 表 的 信息 。 

评论 : 对 帖子 、 照 上 请、 视频 等 的 评论 。 

照片 : 用 户 和 好 友 上 传 的 照片 。 












































部 件 可 以 看 作 功 能 列表 的 顶层 元 系 ， 是 产品 核心 功能 的 清单 。《Google 
软件 测试 之 着 》 建 议 部 件 列 表 要 尺 可 能 简单 ，107 个 部 件 很 好 ， 20 个 就 太 
多 了 。 其 目的 是 重点 考虑 对 产品 、 对 用 户 最 重要 的 功能 与 代码 ， 并 避免 
漫长 的 部 件 列表 所 导致 的 分 析 次 疾 。 


第 三 步 是 确定 产品 的 能 力 。 能 力 是 产品 的 动词 ， 描 述 了 部 件 如 何 实现 属 
性 。HGTS 给 出 的 Google+ 能 力矩 阵 如 表 3-2 所 示 。 


K 3-2 Google+ 的 能 力矩 阵 
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PREJDE eA Pa, RR Pert A WRA R EEA 
持 能 力 和 矩阵 的 简洁 ， 他 们 应 该 关注 对 用 户 而 言 最 有 价值 、 最 有 吸引 力 的 
能 力 ， 并 在 合适 的 抽象 层次 阐述 能 力 。 最 重要 的 是 ， 能 力 应 该 是 可 测 
的 ， 测 试 人 员 能 够 设计 测试 来 检查 产品 实现 了 预期 的 能 


有 了 能 力 托 阵 ， 测 试 团队 惑 完 成 初始 的 测试 计划 。 前 Google 测 试 总 监 
James Whittaker 称 之 为 “10 分 钟 测试 计划 ”[Whittaker11]。 其 基本 思路 是 
专注 于 核心 属性 、 核 心 功 能 和 核心 能 力 ， 省 略 一 切 不 必要 的 细节 。 之 
后 ， 测 试 团队 会 利用 矩阵 去 指导 测试 设计 ， 通 常 算 阵 中 的 一 条 能 力 对 应 
一 个 测试 对 象 、 测 试 策略 或 测试 情景 ， 而 复杂 的 能 力 会 演化 出 更 多 的 测 


试 设计 。 


Google 所 提供 的 开源 Web 应 用 可 以 分 析 项 目 信 息 ， 包 括 测试 用 例 、 代 码 
变更 、 产 品 缺 陷 等 ， 以 确定 能 力 窍 阵 中 的 高 风险 区 域 。 图 3-6 引 用 上 自 
James Whittaker 在 GTAC 20103 的 闭幕 演讲 的 幻灯 片 [Whittaker10]， 是 
Chrome OS 的 能 力矩 阵 的 热点 图 。 图 中 绿色 表示 低 风 险 区 域 ， 红 色 表 示 
高 风险 区 域 ， 粉 红色 和 检 色 则 表示 风险 居于 前 两 者 之 间 。 测 试 人 员 可 以 
根据 热点 图 ， 更 好 地 确定 测试 优先 级 ， 将 有 限 的 资源 运用 在 最 需要 的 地 
Ts 




















3 5th Annual Google Test Automation Conference, Hyderabad 2010, http://sites.gtac.biz/gtac2010/ 。 
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图 3-6 Chrome OS 的 热点 图 


许多 团队 的 风险 分 析 依 赖 于 测试 人 员 的 经 验 和 猜测 ，Google 的 ACC 工 具 
则 通过 分 析 项 目 元 系 “ 测 试用 例 、 代 码 变 更 、 产 品 缺 陷 等 ) 来 识别 风 
险 。 即 便 不 使 用 Google 的 工具 ， 测 试 人 员 也 可 以 利用 电子 表格 记录 能 
和 矩阵， 并 自行 计算 各 个 条 目的 风险 (一 些 Google 的 测试 人 员 也 是 这 么 做 
的 ) 。 在 评估 风险 时 ， 他 可 以 考虑 以 下 因素 《更 多 讨论 参见 第 8 章 ) 。 


。 目 动 化 测试 用 例 : 该 区 域 有 目 动 化 测试 用 例 吗 ? 测试 在 定期 运行 
吗 ? 测试 通过 率 是 多 少 ? WU Be ahs SET TA, A aie BH 
方面 ? 


手动 测试 : 有 人 手动 测试 该 区 域 吗 ? 经 过 测试 ， 他 们 对 该 区 域 有 
信心 吗 ? 如 果 满 分 是 10 分 ， 他 们 会 打 几 分 ? 

代码 变更 : 该 区 域 近期 存在 代码 变更 吗 ? 变更 频繁 吗 ? 变更 是 新 
增 功能 、 人 代码 重 构 、 还 是 缺陷 修复 ? 

代码 复杂 度 : 代码 的 规模 是 多 少 ? 代码 是 否 复杂 ? 如 果 复 杂 度 的 
满分 是 10 分 ， 该 区 域 的 代码 能 得 几 分 ? 


产品 缺陷 : 该 区 域 的 缺陷 多 吗 ? 有 哪些 典型 缺陷 ?哪些 缺陷 已 经 
哪些 缺陷 还 没有 被 修复 ? 活跃 的 缺陷 是 在 快速 增加 还 是 稳 
步 下 降 ? 























在 计算 此 类 风险 因素 时 ， 测 试 人 员 可 以 采用 尽 可 能 简单 的 度量 方法 。 一 
方面 ， 简 单 的 方法 更 容易 解释 度量 值 的 舍 义 ， 有 助 于 针对 上 度量 值 采 取 相 
应 的 行动 。 妃 一 方面 ， 复 杂 的 方法 增 大 了 分 析 的 难度 ， 却 往往 不 能 提供 
更 多 的 收益 。 通 过 测试 去 获得 直接 的 反馈 ， 并 定期 重新 评估 风险 ， 是 更 
注重 实效 的 方法 。 这 也 符合 ACC 的 风格 : REDRE FRAR. E 
测试 计划 时 ， 测 试 人 员 只 要 快速 地 确定 能 力 窍 阵 ， 而 不 必 担 心 遗 漏 。 随 
痢 测试 的 进展 ， 他 会 对 窍 阵 作 出 必要 的 调整 ， 以 优化 测试 的 价值 。 


3.2.3 测试 设计 规约 


测试 设计 规约 记录 了 测试 人 员 的 测试 设计 。 其 内 容 和 形式 往往 由 测试 小 
组 决定 ， 许 多 测试 小 组 还 制定 了 相应 的 文档 模板 。 本 节 介 绍 一 些 测试 设 
计 规 约 的 编写 技巧 ， 供 测试 人 员 参 考 。 


第 一 ， 测 试 设计 规约 是 一 个 “容器 ”， 可 以 容纳 各 种 测试 模型 和 资料 。 
本 章 所 介绍 的 测试 文档 ， 如 功能 列表 、 丰 维 导 图 、Google ACC, #8 
可 以 纳入 同一 份 测试 设计 规约 ， 以 便 从 不 同 角 度 、 不 同 层 面 来 描述 测试 


设计 。 


测试 人 员 应 该 用 最 直观 、 最 方便 的 形式 表达 测试 设计 。 对 于 茶 些 测试 设 
计 ， 符 写 列 表 ( 和 思维 导 图 〉 的 层次 结构 很 方便 ， 对 于 力 一 些 设计 ， 表 
格 (如 Google ACC 的 能 力矩 阵 ) 所 提供 的 二 维 结构 束 很 直观 ， 在 茶 些 
情况 下 ，UML 等 图 形 化 的 表达 更 有 表现 力 。 可 见 ， 并 不 存在 普 吉 适用 
的 测试 记录 方式 ， 测 试 人 员 需 要 用 不 同 的 方式 记录 不 同 的 测试 设计 。 作 
为 测试 设计 的 主要 载体 ， 测 试 设计 规约 需要 容纳 多 样 化 的 测试 表达 ， 也 
可 以 用 链接 指向 相关 测试 文档 。 


第 二 ， 测 试 人 员 需 要 建立 测试 设计 的 框 如 。 首 先 ， 他 要 列举 测试 类 
型 ， 例 如 功能 测试 、 安 全 测试 、 性 能 测试 、 易 用 性 测试 等 。 然 后 ， 针 对 
测试 类 型 ， 列 出 主要 测试 想法 ， 例 如 图 3-3 的 功能 列表 (和 图 3-4 的 品 维 
FED 列举 了 图 片 功 能 测试 的 主干 和 分 文 。 


清晰 的 框架 让 测试 人 员 和 评审 者 在 整体 上 把 握 测 试 设计 ， 知 晓 测 试 所 必 
兰 的 范围 。 如 果 设 计 遗 漏 了 某 种 测试 类 型 ， 评 审 者 能 够 快速 发 现 该 问 

题 ， 并 提出 改进 意见 。 此 外 ， 在 测 斌 学习、 设计、 执行 、 评 估 的 迭代 

中 ， 测 试 人 员 会 逐渐 掌握 更 多 的 软件 和 测试 知识 。 开 放 性 的 框架 提供 了 
可 扩展 的 结构 ， 方 便 测 试 人 员 补 充 测试 想法 ， 增 强 整 体 测 试 设计 。 




















第 三 ， 测 试想 法 优 于 测试 用 例 。 测 试用 例 详细 地 记录 了 测试 设计 ， 包 
括 测试 环境 、 执 行 步 又、 检查 方法 、 预 期 结果 等 。 在 软件 项 目 中 ， 测 试 
人 员 会 执行 许多 测试 用 例 ， 有 些 测试 用 例 往往 只 运行 一 次 ， 详 细 地 记录 
所 有 训 试 用 例 将 占用 过 多 的 项 目 时 间 ， 压 纵 了 实际 训 试 的 时 间 。 而 且 ， 
随 痢 项 目的 发 展 ， 软 件 设计 种 常 会 发 生变 动 ， 这 导致 许多 测试 用 例 不 再 
有 效 。 详 细 地 记录 测试 用 例 势 必 导 致 沉重 的 文档 维护 任务 。 在 进度 压力 
下 ， 一 些 测 试 和 人员 选 至 个 再 维 扩 文档 ， 而 逐渐 过 时 的 文 入 最 终 会 役 壮 
FF o 

为 了 降低 编写 和 维护 测试 设计 的 代价 ， 我 建议 测试 人 员 优 先 记 录 测 试想 
法 ， 只 在 必要 时 添加 详细 描述 。 例 如 ， 必 应 词典 客户 端 从 服务 端 获 得 单 
词 的 中 文 解释 ， 服 务 端 所 返回 的 是 一 份 XML 文 档 。 针 对 服务 端 可 能 返 
回 错误 的 XML 文档 ， 测 试 人 员 可 以 记录 如 下 测试 想法 。 

服务 露 宕 机 ， 没 有 返回 任何 消息 。 

服务 端 返回 的 字符 串 不 是 XML 文 档 。 


服务 端 返回 的 字符 串 是 XML 文档 ， 但 是 该 XML 文档 不 符合 必 应 词 
典 所 定义 的 XML Schema. 











服务 端 返 回 的 XML 文档 符合 预定 义 的 XML Schema， 但 是 该 文档 包 
含 错误 。 重 点 考 碟 的 错误 : 单词 的 中 文 解释 为 空 字符 串 、 单 词 的 中 
文 解释 包含 非法 字符 、 单 词 的 中 文 解释 超 长 。 


如 条 有 恶意 网 站 伪装 成 必 应 词典 服务 端 癌 客户 短发 送 恶 意 XML 文 
档 ， 客 户 站 能 否 受 普 处 理 ? 


这 些 测试 想法 没有 记录 测试 环境 、 执 行 步骤 、 检 查 方法 和 预期 结果 等 如 
何 测试 的 信息 ， 只 简要 地 描述 了 测试 动机 (检查 必 应 词典 可 以 处 理 服务 
庙 的 错误 )》 和 测试 内 容 。 这 让 测试 人 员 用 较 短 的 时 间 记 录 更 多 的 测试 设 
计 ， 也 简化 了 测试 评审 的 工作 。 在 测试 办 代 中 ， 测 试 人 员 可 以 补充 新 的 
测试 想法 ， 也 可 以 加 入 一 些 如 何 测试 的 细节 ， 让 测试 过 程 产生 有 价值 
文档 。 


第 四 ， 合 理 地 使 用 文档 模板 。 许 多 团队 都 提供 了 测试 设计 规约 的 文档 
模板 ， 许 多 测试 人 员 也 和 希望 获得 模板 来 简化 文档 工作 。 不 过 ， 模 板 只 是 
产生 文档 的 工具 ， 它 不 能 取代 思考 和 交流。 如 果 根 据 模板 亦 步 亦 趋 地 填 











写 其 中 的 空白 ,， 测 试 人 员 可 能 被 它 束 缚 了 思路 ， 所 产生 的 文档 “看 上 去 
很 好 ”， 但 是 缺乏 多 样 性 的 测试 想法 。 


为 了 更 好 地 设计 测试 ， 一 些 测 试 人 员 在 设计 之 初 并 不 使 用 模板 ， 而 是 将 
测试 想法 写 在 白 纸 或 空白 文档 中 [Kellyl1a][Kelly11b]。 他 们 尽 可 能 记录 
各 种 测试 想法 ， 而 不 考虑 记录 格式 或 其 他 约束 。 当 大 部 分 测试 设计 完成 
后 ， 他 们 将 测试 设计 移入 模板 ， 以 获得 符合 项 目 要 求 的 文档 。 在 此 过 程 
Sie tai gare oe ey pe lien ee elope 
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3.2.4 ”功能 列表 


3.1.3 节 以 PowerPoint 的 图 片 功能 为 案例 ， 介 绍 了 功能 列表 。 这 是 一 种 功 
能 测试 的 建 模 方法 ， 通 过 将 产品 的 功能 分 解 为 层次 结构 ， 为 功能 覆盖 提 
供 指 导 。 


功能 列表 与 漫游 测试 可 以 相互 支持 。 漫 游 测 试 是 一 组 以 漫游 隐喻 为 核心 
的 测试 方法 [Kaner11] (5.4 太 将 详细 讨论 漫游 测试 ) 。 在 应 用 漫游 测试 
时 ， 测 试 人 员 常 常会 游历 被 测 产品 的 功能 、 结 构 和 数据 ， 并 运用 他 的 技 
能 和 经 验 去 发 掘 产品 的 缺陷 。 


一 方 和 面 ， 功 能 列表 为 功能 漫游 提供 了 有 益 的 信息 。 它 像 一 幅 地 图 ， 既 描 
绘 了 产品 的 概况 ， 又 提供 了 必要 的 细节 ， 为 探索 者 提供 了 指南 与 参考 。 
测试 人 员 可 以 漫游 功能 列表 上 的 所 有 元 素 ， 以 实施 全 面 探索 ; 也 可 以 选 
择 遍历 茶 个 功能 子 集 ， 以 实施 专项 测试 。 


在 另 一 方面 ， 倘 知 测试 人 员 不 了 解 被 测 产品 ， 他 可 以 通过 功能 漫游 来 建 
立功 能 列表 。 从 这 个 角度 ， 漫 游 的 过 程 束 是 测试 建 模 的 过 程 ， 功 能 列表 
就 是 测试 建 模 的 产 出 。 测 试 专家 Cem Kaner 建 议 ， 在 软件 尚 不 成 熟 时 ， 

测试 人 员 应 该 同情 地 测试 [Kaner01]。 此 时 ， 测 试 的 目的 不 是 发 现 所 有 缺 
陷 ， 而 是 建立 测试 模型 ， 发 现 风 险 区 域 ， 为 今后 的 测试 芮 定 基 础 。 对 

此 ， 测 试 专家 Michael Bolton 有 一 香精 彩 的 论述 :“ 同 情 地 测试 非常 重 

要 ， 一 些 测 试 人 员 会 忍 不 住 全 力 寻 找 缺 陷 。 但 是 Jon Bach? 说 在 探索 式 
测试 的 早期 ， 要 通过 测试 来 发 现 产 品 的 优点 。 我 觉得 这 很 奇怪 ， 他 指 

出 ， 如 果 只 是 寻找 并 记录 人 缺陷， 束 不 能 专注 地 漫游 产品 并 构建 产品 的 

模型 ， 我 才 悦 然 大 悟 。”[Kanerl1] 


4Jon Bach 和 James Bach 是 兄弟 ， 他 们 都 是 知名 的 测试 专家 。 


























测试 人 员 需 要 建立 产品 的 大 局 观 ， 同 时 掌握 产品 的 优点 、 人 缺点、 概念 模 
型 和 实现 逻辑 。 漫 游 测 试 是 很 好 的 学 习 过 程 ， 功 能 列表 是 一 个 有 益 的 学 
习 成 末 。 

在 训 试 设计 与 执行 时 ， 测 试 人 员 可 以 将 功能 列表 视 作 获 兰 率 指南 。 他 逐 
个 检查 每 个 功能 ， 阅 读 相关 的 测试 想法 ， 从 而 产生 新 的 测试 想法 。 在 此 
过 程 ， 他 可 以 自问 : 

。 该 功能 与 当前 测试 任务 相关 吗 ? 

。 该 功能 存在 什么 风险 ? 可 能 会 有 什么 缺陷 ? 

。 通过 什么 测试 可 以 发 现 这 些 缺 陷 ? 


。 在 上 次 测试 中 ， 该 功能 表现 如 何 ? 已 有 的 测试 想法 ， 哪 些 值得 再 次 
尝试 ? 哪些 不 必 再 测 ? 


。 依据 当前 的 进度 和 资源 ， 如 何 实施 这 些 测试 ? 

。 功能 列表 是 否 充分 ? ARA WHERE? 
另 一 种 更 有 效 的 方法 是 综合 功能 列表 中 的 多 个 元 素 ， 来 测试 功能 的 协 
作 。 随 着 产品 逐渐 成 熟 ， 隐 滴 的 缺陷 往往 存在 于 功能 的 组 合 ， 其 器 于 复 
杂 的 流程 。 这 要 求 测试 人 员 综 合 多 方面 的 信息 ， 来 更 深入 、 更 多 样 地 测 
试 系统 。 当 测试 人 员 考 虑 功能 的 组 合 时 ， 他 可 以 自问 : 

。 该 功能 与 哪些 功能 相关 ? 

。 功能 的 组 合 有 没有 揭示 出 新 的 风险 ? 可 能 会 有 什么 缺陷 ? 

。 哪些 功能 访问 同一 批 数据 ? 哪些 是 生产 者 ? 哪些 是 消费 者 ? 

。 如 何 设计 测试 来 同时 测试 这 些 功能 ? 


。 如 何 构造 一 个 有 意义 的 业务 流程 ， 让 和 它 能 够 访问 尽 可 能 多 的 功能 与 
数据 ? 


E E Nv eape ce 
器 ? 














在 回归 测试 时 ， 功 能 列表 是 很 好 的 参考 。 例 如 ， 测 试 人 员 可 以 按 如 下 测 
试 策略 对 PowerPoint 的 图 乒 功 能 〈 如 图 3-3 所 示 ) 进行 回归 测试 。 


1. 新 建 一 个 PowerPoint 文 档 。 

2. 向 文档 中 插入 图 片 。 

。 履 盖 所 有 支持 的 图 片 格式 。 

。 Kim HAMA AR. 

。 HRA PRN ALA 。 

3. 操作 文档 中 的 图 片 。 

。 履 盖 “ 图 片 工具 ”下 的 所 有 命令 。 

。 用 一 个 命令 修改 图 片 。 

。 用 多 个 命令 修改 图 片 。 

。 保持 一 些 图 片 不 被 修改 。 
4. 应 用 文档 中 的 图 片 。 

。 将 图 片 与 其 他 元 素 组 合 使 用 。 

e HELFE, HAR, SmartArt, AK, HWS. 
5. 将 文档 中 的 元 素 导 出 为 图 片 。 
人 























。 iii WIA SHA A rag sk 


。 和 履 盖 相关 的 用 户 界面 命令 :上下文 菜单 〈 即 右键 弹出 菜单 ) 、 
Backstage (AE UP > FE” > HEF”). hA h 
到 画图 板 。 








。 履 盖 相 关 的 Visual Basic Application 对 象 模型 。 

6. 打印 该 文档 。 

。 打印 到 黑白 打印 机 。 

。 打印 到 彩色 打印 机 。 

。 打印 到 PDF 文档 。 

。 打印 到 XPS 文 档 。 

7. 保存 该 文档 并 重新 打开 。 

。 另存 为 所 有 支持 的 格式 。 

。 用 PowerPoint 打 开 生 成 的 文档 。 

。 用 旧版 本 PowerPoint 打 开 生 成 的 文档 。 

利用 该 测试 策略 ， 测 试 人 员 可 以 用 一 个 很 长 的 流程 覆盖 大 多 数 的 图 片 功 
能 ， 不 但 测试 了 图 片 与 其 他 功能 的 组 合 ， 还 测试 了 程序 的 稳定 性 和 资源 
占用 。 测 试 结束 时 ， 测 试 人 员 可 以 获得 一 个 大 型 的 PowerPoint 文 档 ， 它 
包含 各 种 图 片 和 元 素 ， 为 今后 的 回归 测试 提供 良好 的 测试 数据 。 
3.25 大纲 与 思维 导 图 


功能 列表 用 层次 结构 表达 软件 的 功能 。 与 之 类 似 ， 测 试 人 员 可 以 用 层次 
结构 组 织 测试 想法 ， 使 得 测试 想法 的 分 类 关系 一 目 了 然 。 


我 习惯 用 大 纲 来 记录 测试 想法 。 在 文档 编辑 器 (如 Microsoft Word) 
a 编写 列表 和 多 级 列表 都 可 以 方便 地 编写 和 修改 测试 想法 
KAA 


此 外 ， 许 多 测试 人 员 喜 欢 用 思维 导 图 来 记录 测试 想法 ， 也 获得 了 很 好 的 
效果 。 图 3-7 是 测试 专家 Darren McMillan 制 作 的 思维 导 图 形式 的 测试 计 
划 [McMillan11]。 限 于 篇 幅 ， 该 图 仅 呈 现 了 原 测试 计划 的 局 部 ? ， 但 仍 
上 日 可 以 看 出 思维 导 图 的 一 些 重 要 特点 。 














15 完整 的 思维 导 图 :http://www. -bettertesting. co.uk/content/?p=956 。 此 外 ，ministryoftesting.com 
也 提供 了 许多 软件 测试 的 思维 导 图 。 
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图 3-7 功能 测试 的 思维 导 图 (局 部 ) 


。 与 大 网 一 样 ， 思 维 号 图 提供 了 清晰 的 层次 结构 。 沿 看 图 中 线条 ， 茶 
个 想法 衍生 出 更 具体 的 想法 ， 而 这 批 想 法 义 继 续 甸 生 出 更 细致 的 想 
法 。 这 种 清晰 的 结构 让 测试 人 员 方 便 地 把 握 测 试想 法 的 人 SRA 
次 。 


。 思 维 导 图 用 词语 来 记录 测试 设计 ， 这 使 测试 人 员 专注 于 思考 。 由 于 
无 需 写 下 不 必要 的 细节 ， 测 试 人 员 可 以 用 较 短 的 时 间 记录 大 量 的 测 
试想 法 。 当 测试 人 员 快 速 思考 、 积 极 联想 时 ， 他 能 够 获得 多 样 化 的 
测试 设计 。 


。 图 3-7 的 “需求 测试 "拥有 一 个 注释 ， 它 包含 更 详细 的 测试 设计 。 有 
时 ， 词 语 或 短 句 并 不 能 很 好 地 传递 测试 想法 ， 必 要 的 注释 能 够 进 一 
步 解释 测试 思路 ， 消 除 误 解 。 在 这 一 点 上 ， 电 子 的 思维 导 图 既 保留 
了 传统 的 思维 导 图 的 简洁 ， 又 拥有 更 丰富 的 信息 。 


。 与 大 纲 相 比 ， 思 维 导 图 更 “ 引 人 注 目 *。 图 3-7 使 用 了 形状 、 线 条 、 
颜色 、 维 度 、 质 地 等 视觉 元 素 ， 它 们 激发 了 大 脑 的 兴趣 ， 这 是 单纯 
的 文字 列表 难以 做 到 的 。 当 测试 人 员 对 一 幅 图 感 兴趣 时 ， 他 会 更 积 
极地 思考 ， 从 而 产生 更 多 的 想法 。 这 对 于 测试 计划 的 编号、 评审 、 








修订 都 有 促进 作用 。 


。 思维 导 图 可 以 使 用 颜色 、 标 号 等 视觉 元 素来 表达 语义 ， 这 提高 了 信 
息 传达 的 效率 。 如 图 3-7 所 示 用 红色 的 D、 黄 色 的 忆 、 蓝 色 的 @ 表 
示 测 试想 法 的 优先 级 ， 使 得 测试 优先 级 一 目 了 然 。 


大 纲 和 思维 导 图 都 豆 励 汕 试 人 员 扩 展 已 有 的 结构 ， 持 续 地 加 入 想 
法 。 经 过 一 段 时 间 的 努力 ， 测 试 人 员 可 以 积累 一 大 批 相 互 天 联 的 测 
试想 法 。 此 时 ， 大 纲 的 呈现 会 遇 到 一 定 的 困难 。 对 比 图 3-3 的 大 纲 
和 图 3-4 的 思维 导 疼 可 知 ， 对 于 数量 相同 的 测试 想法 ， 大 纲 的 长 度 
BK, aad a eg ee 
FEER. KERES, SOAR RS, MERRIA, 
EMER, EAH S ae EY E E o 随 着 宽屏 显示 器 的 莹 及 ， 
思维 导 图 在 排版 上 的 优势 更 明显 。 


除了 测试 计划 和 设计 ， 测 试 人 员 还 可 以 将 思维 导 图 应 用 于 测试 报告 、 信 
县 组 织 、 目 我 管理 等 领域 [McMillan11]。 作 为 一 天 思维 辅助 工具 ， 其 应 
用 领域 几乎 是 无 限 的 。 
3.2.6 Kik GERE) 
在 测试 设计 中 ， 表 格 适 合 表 达 两 个 变量 之 间 的 关系 或 两 个 变量 共同 作用 
的 结果 。 例 如 ， 表 3-2 从 软件 能 力 的 角度 表达 了 属性 与 部 件 的 关系 。 又 


例如 ， 表 3-3 是 浏览 器 兼容 性 测试 的 配置 矩阵 ， 所 记录 的 测试 结果 可 以 
看 作 是 浏览 器 X 与 功能 Y 共 同 作 用 的 结果 。 


表 3-3 WD a ae ATEMA HI Ae EAE E 





























在 测试 设计 时 ， 测 试 人 员 用 表 3-3 规 划 即 将 实施 的 测试 ， 佑 算 完 成 全 部 
测试 需要 的 时 间 。 在 表格 下 方 ， 他 可 以 记录 每 个 功能 的 测试 想法 ， 这 些 
想法 可 以 在 多 个 浏览 器 中 复 用 。 在 测试 执行 时 ， 他 可 以 在 表 中 记录 测试 
结果 ， 例 如 所 发 现 缺 陷 的 D。 在 测试 完成 后 ， 他 对 表格 稍 作 整理 ， 将 其 
作为 测试 总 结 报 告 的 一 部 分 及 送 给 测试 经 理 。 测 试 经 理 可 以 很 直观 地 了 
解 测 试 情况 ， 包 括 哪 些 功能 还 需 修复 、 哪 些 浏览 器 的 文 持 还 需 增 强 。 


表格 还 适合 比较 数据 ， 这 在 性 能 测试 中 尤为 第 见 。 例 如 ， 测 试 人 员 为 了 

比较 软件 的 两 个 版 本 之 间 的 性 能 差异 ， 设 计 了 性 能 测 试 表 〈 见 表 3- 

) 。 访 表格 测试 了 两 个 操作 在 不 同 数 据 集 下 的 耗 时 。 测 试 完成 后 ， 测 
试 人 员 可 以 用 电子 表格 软件 的 “条 件 格式 ”功能 ， 使 数据 单元 格 中 出 现 反 
映 数 值 大 小 的 数据 条 。 这 使 得 表格 可 以 直观 地 显示 两 个 版 本 的 性 能 差 
异 。 此 外 ， 他 可 以 生成 该 表格 的 数据 图 ( 见 图 3-8〉， 从 而 可 视 化 地 分 


析 数 据 。 














表 3-4 性 能 测试 的 数据 表 














版 本 1 与 版 本 2 的 性 能 比较 





数据 集 1 数据 集 2 数据 集 3 


旧版 本 1 旧版 本 2 旧版 本 1 看 版 本 2 


图 3-8 性 能 测试 的 数据 图 


此 外 ， 表 格 还 常用 于 表达 业务 规则 。 著 名 的 自动 化 测试 框架 Fite 就 使 用 
表格 记录 测 斌 用例。 图 3-9 是 记录 在 HTML 文件 中 的 Fit 表格 ， 它 以 测 
试用 例 的 形式 表达 了 发 放贷 球 的 业务 规则 [Mugridge05]。 其 具体 含义 如 
Ts 


| 6 http://fit.c2.com/ 。 


。 表 头 CalculateCredit 对 应 了 一 个 夹具 。 一 个 夹具 就 是 一 段 测 试 代 
码 ， 它 决定 了 如 何 解读 表格 的 数据 ， 并 调用 被 测 对 象 。 


表格 的 第 二 行 ( 标 题 行 )， 标 注 了 贫 球 发 放 的 输入 值 和 预期 结果 ， 
其 中 months、reliable、balance 是 输入 列 ，allow credit() 和 credit 
limitO 是 预期 结果 列 。 


表格 的 数据 行 记 录 了 具体 的 测试 用 例 ， 例 如 表格 的 第 三 行 束 明 确 陈 
XÑ: 当 months=14，reliable=true，balance = 5000.00 时 ，allow 
credit() 应 该 为 tue，credit limit() 应 该 为 1000.00， 翻 译 为 自然 语言 就 
是 “ 当 借 贷 期 限 为 14 个 月 、 客 户 可 以 被 信赖 、 结 余 为 5000 元 时 ， 允 
许 借贷 且 借 贷 额度 为 1000 元 ”。 
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图 3-9 测试 “计算 贷款 ”的 Fit 表 格 


在 设计 测试 时 ， 测 试 人 员 与 业务 人 员 一 起 工作 。 业 务 分 析 师 用 Fit 表 格 编 
写 测试 用 例 ， 测 试 人 员 编 写 夹具 代码 ， 并 帮助 业务 分 析 师 组 织 测 试用 
例 ， 而 这 些 测试 用 例 阐 述 了 产品 的 业务 规则 。 在 运行 测试 时 ，Fit 框 染 读 
取 表 格 中 的 数据 ， 调 用 表格 指定 的 夹具 ， 传 入 输入 值 ， 并 检查 返回 结 
果 。 如 果 返 回 结果 符合 预期 结果 ， 则 测试 通过 ， 人 否则 测试 失败 。Fit 产 生 
的 测试 报告 是 原 表 格 的 复制 版 ， 训 试 通 过 的 预期 结案 单元 格 被 标记 为 绿 
色 ， 测 试 失 败 的 预期 结果 单元 格 被 标记 为 红色 。 


利用 Fit 表 格 ， 测 试 人 员 和 业务 分 析 师 能 够 紧密 合作 ， 发 挥 各 目的 技能 优 
势 ， 实 现 业 务 规则 的 自动 化 测试 。 而 且 ，Fit 表 格 是 对 需求 更 为 清晰 的 描 
述 方法 ， 能 够 帮助 程序 员 更 好 地 理解 系统 、 更 快 地 测试 、 更 安全 地 重 构 
代码 [Mugridge05]。 所 以 ，Fit 并 不 是 一 天 单纯 的 测试 框架 ， 在 许多 开发 
者 眼中 它 是 业务 分 析 师 、 测 试 人 员 和 程序 员 的 协作 工具 。 


在 以 上 几 个 例子 中 ， 表 格 既 是 测试 设计 的 产物 ， 又 是 测试 执行 和 测试 报 
告 的 工具 。 这 说 明 在 实际 的 测试 工作 中 ， 测 斌 计划、 测试 笔记 和 测试 报 
告 应 该 紧密 联系 。 在 一 些 情况 下 ， 它 们 可 能 来 源 于 同一 份 文档 。 








3.2.7 测试 指南 


测试 指南 针对 特定 领域 ， 阐 述 被 测 对 象 的 特征 和 相应 的 测试 策略 ， 帮 助 
测试 人 员 了 解 基本 的 领域 知识 ， 并 实施 有 针对 性 的 测试 。 测 试 人 员 在 工 
作 中 积累 了 许多 技能 和 经 验 ， 在 进入 一 个 新 领域 时 ， 他 可 能 需要 一 些 帮 
助 ， 以 便 将 已 有 知识 应 用 在 新 的 测试 任务 中 。 一 份 好 的 测试 指南 能 够 让 
测试 人 员 快 速 上 手 ， 友 挥 他 已 有 的 技能 ， 并 避免 一 些 典 型 的 错误 。 


微软 在 Windows 8 中 引入 了 一 种 新 的 应 用 : Windows 8 应 用 ( 俗 
Mero H”) 。 为 了 帮助 开发 者 更 好 地 开发 和 测试 Windows 8 MH, 
微软 Windows 团 队 发 布 了 一 篇 文章 Testing Metro style apps in Windows 87 
。 这 篇 文章 可 以 看 作 一 篇 概括 性 的 测试 指责， 指出 了 Windows 8 应 用 的 
特点 和 对 应 的 测试 策略 。 其 内 容 结构 如 下 [Sundaram12]。 








7 http://blogs.msdn.com/b/windowsappdev/archive/2012/07/12/testing-metro-style-apps-in-windows- 
8.aspx o 


测试 应 用 的 激活 : 介绍 了 应 用 的 各 种 激活 方式 。 


测试 应 用 的 运行 : 这 是 文章 的 重点 ， 介 绍 了 多 个 Windows 8 应 用 的 
特点 和 相应 的 测试 要 点 ， 包 括 动态 磁 贴 、 通 知 、 协 议 、 旋 转 、 触 
摸 、 Ore Ase PLE, 不 同 的 屏幕 太 寸 、 数 据 漫 游 、 传 感 器 、 错 误 
处 理 等 。 


ee 的 挂 起 : 介绍 了 应 用 如 何 正确 地 挂 起 和 相应 的 测试 要 


~、 
4 








人 : 介绍 了 应 用 如 何 正 确 地 恢复 和 相应 的 测试 要 


y 
4 


测试 应 用 的 终止 : 介绍 了 Windows 如 何 终止 应 用 和 相应 的 测试 要 
点 。 


y 
4 





测试 应 用 在 不 运行 时 的 行为 : 在 主 程序 不 运行 的 情况 下 ， 
Windows 可 以 通过 动态 磁 贴 、 通 知 、 后 台 任 务 来 执行 应 用 的 部 分 代 
码 。 该 小 节 介 绍 了 相关 知识 和 测试 要 点 。 


这 篇 测试 指南 以 应 用 的 状态 为 核心 ， 介 绍 了 Windows 8 应 用 所 特有 的 知 





识 ， 并 提供 了 针对 性 很 强 的 测试 琐 略 。 读 完 这 篇 文章 ， 测 试 人 员 可 以 党 
握 Windows 8 应 用 的 基本 测试 知识 ， 从 而 更 有 效 地 朱 划 对 目 己 产 品 的 测 
试 。 


除了 产品 之 外 ， 一 些 专项 测试 也 需要 编写 测试 指南 。 例 如 ， 全 球 化 是 一 
些 软件 的 重要 需求 ， 它 会 全 面 地 影响 数据 存储 和 界面 展示 。 因 此 ， 软 件 
的 大 多 数 功能 都 需要 考虑 全 球 化 需求 ， 测 试 小 组 的 每 个 人 都 需要 考虑 全 
球 化 测试 。 但 是 全 球 化 测试 是 一 个 专业 性 比较 强 的 领域 ， 需 要 较 多 的 知 
识 积累 才能 有 效 实施 。 为 此 ， 测 试 经 理 可 以 安排 一 名 测试 人 员 作为 全 球 
化 测试 的 负责 人 ， 让 他 深入 研究 该 领域 的 编程 和 测试 技术 ， 并 撰写 一 份 
测试 指南 。 这 份 指南 提供 全 球 化 测试 的 基本 知识 、 测 试 方法 、 常 见 缺 

陷 、 常 用 工具 、 参 考 资料 等 内 容 。 测 试 小 组 成 员 阅读 这 份 文档 ， 并 与 该 
负责 人 交流 ， 从 而 针对 自己 负责 的 功能 设计 全 球 化 测试 。 在 交流 与 测试 
的 过 程 中 ， 负 责 人 可 以 到 步 改进 测试 指南 ， 合 它 更 符合 项 目的 特点 和 油 
试 的 需要 。 


3.2.8 测试 想法 列表 


测试 想法 列表 是 一 种 简化 的 测试 指南 ， 列 出 了 一 组 测试 想法 ， 帮 助 测试 
人 员 构 思 有 具体 的 测试 。 最 著名 的 例子 是 Quality Tree Software 发 布 的 测试 
启发 式 方法 备 忘 单 8 [QualityTree06]。 图 3-10 是 该 备 忘 单 的 局 部 ， 提 供 了 
一 些 数据 攻击 的 想法 ， 所 针对 的 数据 类 型 包括 路 径 与 文件 、 时 间 与 日 

期 、 数 字 与 计算 。 该 备 忘 单 将 测试 想法 进行 了 分 类 ， 测 试 人 员 可 以 快速 
找到 相关 的 测试 想法 。 每 一 测试 想法 都 用 简单 的 词汇 、 短 语 或 实例 来 
说 明 ， 测 试 人 员 能 够 快速 知晓 ， 立 即 应 用 。 











8 http://www.quality-testing.com/wp-content/uploads/2009/06/testheuristicscheatsheetv1.pdf 。 


Data Type Attacks 


Paths/Files Long Name (>255 chars) » Special Characters in Name (space *?/\|<>,.Q)[]{};:'"! 
@ # $% ^ &) = Non-Existent = Already Exists = No Space = Minimal Space = Write- 
Protected = Unavailable + Locked * On Remote Machine « Corrupted 


Time and Date Timeouts * Time Difference between Machines = Crossing Time Zones * Leap Days * 
Always Invalid Days (Feb 30, Sept 31) + Feb 29 in Non-Leap Years * Different Formats 
Qune 5, 2001; 06/05/2001; 06/05/01; 06-05-01; 6/5/2001 12:34) » Daylight Savings 
Changeover = Reset Clock Backward or Forward 


Numbers O = 32768 (2'5) = 32769 (215 + 1) = 65536 (2'6) = 65537 (2'6 +1) = 2147483648 (23!) = 
2147483649 (23! + 1) = 4294967296 (23?) = 4294967297 (2°? + 1) = Scientific Notation 
(1E-16) + Negative * Floating Point/Decimal (0.0001) = With Commas (1,234,567) = 
European Style (1.234.567,89) = All the Above in Calculations 


图 3-10 测试 局 发 式 方法 备 迄 单 〈 局 部 ) 


里 然 该 备 不 单 不 可 能 穷尽 所 有 的 测试 想法 ， 但 是 受到 许多 测试 人 员 的 此 
定 。 其 根本 原因 是 它 舍 弃 了 所 有 修饰 ， 用 最 简洁 和 直接 的 方式 提供 测试 
灵感 ， 在 很 短 的 篇 幅 内 提供 了 许多 有 价值 的 建议 。 此 外 ， 其 简洁 的 形式 
让 测试 人 员 可 以 随时 增加 测试 想法 。 随 着 测试 想法 的 补充 ， 该 列表 会 拥 
有 更 多 的 领域 知识 ， 从 而 更 切合 当前 项 目 。 


另 一 个 典型 的 测试 想法 列表 是 The Test Eye 发 布 的 <37 个 测试 想法 来 
源 >[TheTestEye12]。 图 3-11 是 根据 该 文档 生成 的 思维 导 图 ， 它 包含 项 
目 、 产 品 、 关 系 人 、 业 务 、 团 队 、 外 部 6 个 方面 ， 共 37 个 测试 想法 的 信 
息 源 。 测 试 人 员 可 以 依次 考虑 每 个 信息 源 ， 从 中 获得 测试 灵感 或 行动 计 
划 。 虽 然 该 测试 想法 列表 比较 抽象 ， 难 以 直接 用 于 测试 执行 ， 但 是 它 帮 
助 测试 人 员 从 多 个 角度 考虑 测试 ， 能 够 发 现 原 有 测试 设计 的 盲点 。 
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图 3-11 37 个 测试 想法 来 源 
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此 外 ， 测 试 专家 Rikard Edgren 发 布 的 免费 电子 书 The Little Black Book on 
Test Design ”记录 了 他 收集 整理 的 大 量 测试 想法 [Edgren11]， 也 很 值得 测 


试 人 员 参 考 。 


| 3 http://thetesteye.com/blog/2011/09/the-little-black-book-on-test-design/ 。 


3.2.9 ”质量 特性 列表 


质量 特性 列表 记录 了 软件 需要 考 钳 的 奈 量 央 系 。 它 帮 助 测试 人 员 识 别 出 
产品 需要 支持 的 质量 因素 ， 从 而 为 进一步 的 测试 设计 提供 线索 。 


质量 特性 列表 的 典型 例子 是 The Test Eye 发 布 的 软件 质量 特性 集 ， 
[TheTestEye11]。 图 3-12 展 示 了 该 文档 的 结构 ， 其 主要 质量 特性 包括 : 
能 力 、 可 靠 性 、 可 用 性 、 魅 力 、 安 全 性 、 性 能 、IT 能 力 、 兼 容 性 、 可 支 
持 性 、 可 测 性 、 可 维护 性 、 可 移植 性 。 每 个 主要 质量 特性 进一步 细 分 为 
和 








10 http://thetesteye.com/posters/TheTestEye_SoftwareQualityCharacteristics.pdf 。 


容量 
响应 度 完整 性 
可 达 性 | 性 能 准确 性 
反馈 能 力 高 效 性 
可 伸缩 性 = 可 交互 性 
= 并 发 
LLAK 质量 可 拓展 性 
— nÆ PI Ya Ee" 
RAIE Ay sett 
Blasi 可 用 性 
可 测 性 魅力 
i 
可 维护 性 er 
可 移植 性 


图 3-12 软件 质量 特性 集 


在 使 用 该 质量 特性 列表 时 ， 测 试 人 员 a Se ARSE ITU H TEDN SH J 修订 。 
可 以 删 去 一 些 与 产品 无 关 的 质量 特性 ， 补 充 一 些 与 产品 相关 的 质量 特 
性 ， 从 而 获得 一 份 针对 性 更 强 的 列表 。 利 用 定制 的 质量 特性 列表 ， 检 查 








现 有 的 测试 设计 。 如 果 有 茶 个 质量 特性 没有 被 仔细 测试 ， 束 需要 设计 新 
的 训 试 策略 来 禾 音 该 特性 。 从 这 个 角度 ， 质 量 特性 列表 是 一 种 测试 履 兰 
ee 





3.2.10 ”操作 文档 


测试 是 一 项 技术 性 很 强 的 工作 ， 有 些 任 务 可 能 很 复杂 ， 对 于 新 人 尤其 困 
难 。 例 如 ， 我 参与 过 一 个 项 目 ， 被 测 产品 是 一 个 由 多 个 网 络 服务 构成 的 
系统 。 测 试 小 组 使 用 一 组 虚拟 机 模板 创建 虚拟 机 ， 在 虚拟 机 上 安装 不 同 
的 服务 ， 然 后 将 多 个 虚拟 机 组 成 测试 环境 。 为 了 搭建 一 个 测试 环境 ， 测 
试 人 员 需 要 知晓 使 用 哪些 模板 、 创 建 何 种 角色 的 虚拟 机 、 在 特定 角色 的 
虚拟 机 上 安装 哪些 服务 、 在 哪 台 机 器 上 运行 测试 、 目 动 化 测试 的 配置 文 
件 如 何 编写 等 信息 。 对 于 一 个 刚 加 入 项 目的 测试 人 员 而 言 ， 即 便 他 拥有 
丰富 的 测试 经 验 ， 也 很 难 独自 搭建 一 个 最 典型 的 测试 环境 。 这 阻碍 了 他 
的 日 第 工作 ， 令 他 受挫 。 


为 了 帮助 测试 人 员 完 成 任务 ， 测 试 小 组 可 以 编写 一 批 操作 文档 二 。 每 个 
文档 针对 一 个 癌 见 的 任务 ， 用 文字 描述 、 屏 峰 堆 图 等 方式 记录 操作 步 

又 ， 使 得 测试 人 员 可 以 按照 指令 完成 任务 。 季 见 的 操作 文档 涉及 安装 家 
测 产 品 、 配 置 测 试 环境 、 编 写 自 动 化 测试 、 使 用 测试 工具 等 。 测 试 小 组 
无 需 为 所 有 任务 编写 操作 文档 ， 只 需要 针对 复杂 的 任务 撰写 文档 。 久 而 
ee 





























11 Microsoft Developer Network (MSDN) 提供 了 许多 操作 文档 ， 例 如 Quick Start Guide for 
Manual Testing using Microsoft Test Manager (http://msdn.microsoft.com/en- 
us/library/vstudio/dd380763.aspx ) 。 





随 着 软 人 硬件 的 发 展 ， 视 频 录 像 成 为 新 形式 的 操作 文档 。 用 屏幕 录制 软件 
和 麦克 风 录 制 一 个 10 分 钟 的 操作 演示 视频 ， 省 时 省 力 ， 其 传递 知识 的 效 
果 可 能 胜 过 一 份 用 几 十 分 钟 编写 的 文档 。 有 一 次 ， 我 与 一 个 异地 的 团队 
进行 测试 协作 ， 主 要 任务 是 用 他 们 开发 的 工具 测试 我 的 产品 。 他 们 提供 
的 是 一 个 10 页 左右 的 PowerPoint 文 要 ， 概 述 了 任务 的 目标 和 内 容 。 文 档 
末 页 链接 了 一 个 视频 文件 。 该 视频 长 约 5 分 钟 ， 演 示 了 该 工具 的 用 法 。 

我 用 10 分 钟 便 看 完了 PowerPoint 文 档 和 视频 ， 之 后 就 能 运用 该 工具 进行 
测试 。 可 见 ， 多 媒体 的 操作 指南 使 得 信息 传递 更 加 高 效 。 





3.2.11 检查 列表 


在 完成 一 项 复杂 的 任务 时 ， 人 们 需要 分 析 并 处 理 多 个 细节 。 但 是 ， 人 脑 
的 记忆 力 并 不 可 靠 ， 在 时 间 压 力 下 ， 它 很 可 能 会 遗漏 一 些 重 要 的 细 市 ， 
使 任务 面临 失败 的 风险 。 为 了 任务 完成 的 一 致 性 和 完整 性 ， 人 们 发 明 
了 检 碍 列表 ， 并 成 功 地 应 用 于 航空 、 医 疗 等 关键 领域 
[WikipediaChecklist12]。 测 试 专家 Cem Kaner 具 有 法 学 学 位 ， 他 指出 律师 
在 处 理 复 杂 法 律 问题 时 会 使 用 检查 列表 ， 而 软件 测试 人 员 也 应 该 用 检查 
列表 来 指导 并 追踪 测试 工作 [Kaner08b]。 


检查 列表 针对 一 项 复杂 任务 ， 由 一 组 工作 事项 组 成 ， 每 一 个 事项 提醒 工 
作者 检查 一 项 细节 或 完成 一 项 活动 。 这 些 工作 事项 是 完成 该 任务 的 必要 
条 件 ， 需 要 工作 者 认真 对 待 。 有 时 ， 工 作者 会 根据 实际 情况 跳 过 一 些 工 
VES, (ARE Sea, AeA AS SL o 


图 3-13 是 必 应 词典 的 安装 测试 的 检查 列表 。 安 装 测 试 要 检查 安装 程序 可 
以 将 必 应 词典 正确 地 安装 在 不 同 的 操作 系统 (Windows 7、Windows 8、 
Windows Server 2008, Windows Server 2012 等 ) 和 CPU 架构 (x86 和 和 
x64) 上 。 除 了 检查 安装 过 程 以 外 ， 测 试 人 员 还 需要 对 安装 后 的 程序 做 
一 些 基本 测试 ， 以 发 现 隐藏 的 安装 错误 。 图 3-13 的 检查 列表 针对 必 应 词 
典 的 主要 功能 ， 列 出 了 一 些 基本 的 检查 点 。 它 不 追求 详尽 的 测试 (这 属 
于 功能 测试 的 范畴 ) ， 但 是 履 盖 了 最 基本 的 功能 。 它 列举 了 工作 项 ， 但 
没有 规定 详细 的 测试 用 例 ， 这 让 测试 人 员 不 会 遗 态 重要 的 测试 ， 又 有 有 自 
主 发 挥 的 空间 。 随 着 项 目的 发 展 ， 测 试 人 员 可 以 调整 检查 列表 ， 删 除 低 
风险 条 目 ， 加 入 新 发 现 的 高 风险 条 目 。 


有 些 检查 列表 也 可 以 视 作 测试 想法 列表 。 例 如 ，Michael Hunter You 
Are Not Done Yet: Checklist 12 针对 不 同 测试 对 象 提 出 了 一 组 很 好 的 检查 
列表 ， 黎 着 了 昌 面 软件 的 许多 测试 任务 [Hunter10]。 这 组 检查 列表 不 针 
对 特定 的 软件 ， 而 是 提出 了 一 批 通 用 的 测试 想法 ， 供 测试 人 员 做 因 地 制 
宜 地 修改 。 测 试 人 员 在 完成 测试 设计 或 执行 之 后 ， 可 以 对 照 检 查 列 表 来 
肥 现 已 有 测试 尚未 履 新 的 方面 ， 从 而 添加 新 的 测试 来 提高 测试 窗 新 。 












































12 http://www.thebraidytester.com/downloads/YouAreNotDoneYet.pdf 。 
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查询 英文 词汇 

屏幕 取 词 

划 词 翻译 

更 换 必 应 词典 的 皮肤 

必 应 生词 本 器] 修改 “设置 " 中 的 参数 并 验证 修改 成 功 

[| 必 应 生词 本 

[在 必 应 词典 中 将 中 英文 词汇 加 入 生词 本 

在 必 应 生词 本 中 增加 词汇 

在 必 应 生词 本 中 删除 词汇 

必 应 词曲 |] 导出 含有 中 英文 词汇 的 数据 文件 
导入 含有 中 英文 词汇 的 数据 文件 

[| ams ial 

检查 更 新 器] 使 用 内 置 词 霉 ， 浏 览 单词 

[ | 使 用 生词 本 ,浏览 单词 

| | 导出 词 表 

导入 词 表 

[检查 更 新 


HEMANA: 














必 应 背 单 词 



































图 3-13 ” 必 应 词典 安装 测 试 的 检查 列表 


检查 列表 是 一 种 提示 物 ， 它 帮助 测试 人 员 在 面 对 复杂 的 产品 时 不 会 遗漏 
重要 的 工作 事项 。 构 建 检查 列表 的 过 程 就 是 学 习 软 件 并 建立 模型 的 过 

程 ， 是 一 种 有 价值 的 测试 学 习 和 测试 设计 活动 ， 其 成 果 是 有 结构 的 检查 
点 或 测试 想法 。 在 使 用 检查 列表 时 ， 测 试 人 员 在 检查 列表 (及 其 背后 的 
测试 模型 ) 的 指导 下 ， 积 极地 设计 并 执行 测试 ， 充 分 发 挥 自 身 的 经 验 和 
技能 。 可 见 ， 检 查 列表 让 测试 学 习 、 设 计 、 执 行 都 是 一 种 高 认 知 工作 

[Kaner08b]. 


3.2.12 ”缺陷 目录 


软件 缺陷 常常 体现 了 编程 语言 的 陷阱 、 计 算 平台 的 不 足 、 程 序 员 能 力 的 
欠缺 、 领 域 模 型 的 偏差 等 问题 。 收 集 并 整理 典型 缺陷 有 助 于 吸取 教训 、 

对 症 下 药 ， 是 一 项 有 价值 的 活动 。 为 此 ， 一 些 软件 测试 专家 整理 了 缺陷 
目录 (bug taxonomy) 供 测 试 人 员 参 考 。 例 如 ，Cem Kaner 等 在 《计算 

机 软件 测试 》 (Testing Computer Software ) 的 附录 “常见 软件 错误 ”3 中 
描述 了 12 类 共 400 多 个 软件 缺陷 [Kaner99]。 之 后 ，Cem Kaner 与 Giri 

















Vijayaraghavan 协 作 ， 总 结 了 当时 已 有 的 缺陷 目录 ， 并 讨论 了 如 何 更 好 
地 使 用 缺陷 目录 [Vijayaraghavan03]。 


13 Cem Kaner 提 供 了 该 附录 的 全 文 下 
4X: http://www.testingeducation.org/BBST/testdesign/Kaner_Common_Software_Errors.pdf o 


SUM A RIRE — brik hes A aa. AT DAM ae i EA SC 


。 浏览 缺陷 目录 ， 标 注 出 产品 可 能 出 现 的 缺陷 。 利 用 这 些 缺 陷 ， 评 估 
现 有 训 试 设计 的 质量 。 如 宁 有 某 个 缺陷 可 能 被 漏 测 ， 就 需要 设计 新 
的 测试 来 检查 该 缺陷 。 此 时 ， 缺 陷 目 录 是 汕 试 覆 兰 评 佑 工具， 帮助 
测试 人 员 更 周密 地 测试 。 


。 将 缺陷 目录 作为 “攻击 指南 ”， 根 据 典 型 缺陷 和 产品 的 特点， 来 做 快 
速 测 试 。 


o 提炼 出 特定 领域 的 缺陷 (如 安全 性 缺陷 、 性 能 缺陷 等 》， 作 为 测试 
指南 等 文档 的 附录 。 在 评审 和 使 用 文档 的 过 程 中 ， 这 些 “ 第 见 缺 
陷 ” 能 激 友 测试 灵感 ， 并 帮助 识别 典型 问题 。 


。 分 析 缺 陷 目 录 ， 找 出 可 能 发 生 的 缺陷 ， 然 后 与 程序 员 交 流 这 些 潜 在 
的 问题 。 一 方面 ， 程 序 员 可 以 帮助 他 理解 技术 细节 、 设 计 测 试 策 
略 。 胃 一 方面 ， 程 序 员 能 从 中 学 习 到 软件 或 平台 的 潜在 风险 ， 这 有 
助 于 他 提前 准备 、 规 避 错 误 。 


。 在 测试 小 组 内 讨论 这 些 典 型 缺陷 ， 从 而 帮助 测试 小 组 建立 团队 测试 
泉 略 ， 实 施 有 针对 性 的 测试 。 


有 时 ， 测 试 人 员 会 测试 一 些 新 型 的 应 用 ， 在 该 领域 并 没有 相对 完整 的 缺 
陷 目 录 。 这 时 ， 他 可 以 自己 归纳 该 领域 的 典型 缺陷 。 即 便 所 获得 的 缺陷 
列表 篇 幅 不 长 ， 也 会 很 有 帮助 。 人 例如， 测试 专家 Jonathan Kohl 所 总 结 的 
移动 应 用 七 宗 罪 (7 deadly sins of mobile apps) [Kohl12]， 就 概况 了 移动 
应 用 的 典型 问题 ， 对 于 测试 设计 很 有 局 发 性 。 


e 野心 : 应 用 承诺 它 做 不 到 的 事情 。 


。 暴食 : 应 用 使 用 了 太 多 的 资源 。 它 占 满 了 内 存 ， 拖 慢 了 设备 ， 耗 
尽 了 电量 ， 用 完了 数据 流量 。 











。 RE: 应 用 假设 用 户 总 是 拥有 强劲 的 网 络 连接 ， 而 不 可 考虑 信号 
微弱 的 情况 。 


。 HE: 应 用 反 义 迟 缓 ， 速 度 极 慢 。 
。 狂怒 : 应 用 与 其 他 应 用 不 能 协作 。 
。 KO: 应 用 抄 帮 其 他 应 用 的 功能 ， 坚 无 创新 。 


。 做 慢 : 应 用 难以 使 用 ， 期 望 用 户 适 应 它 的 古怪 设计 ， 而 不 是 适应 
AP 





— 


3.2.13 MEK 


为 了 有 效 地 管理 测试 ， 测 试 经 理 需 要 评估 测试 团队 的 生产 力 、 当 前 测试 
的 进度 、 测 试 履 盖 的 范围 、 已 经 暴露 的 风险 、 测 试 人 员 是 否 需 要 帮助 等 
因素 。 一 个 好 的 测试 流程 可 以 帮助 测试 经 理 和 测试 小 组 了 解 这 些 因 素 ， 
并 实施 积极 的 管理 。 为 了 满足 软件 开发 团队 对 可 管理 性 的 要 求 ， 
Jonathan Bach 和 James Bach 提出 了 基于 测 程 的 测试 管理 (Session-Based 
Test Management, SBTM) [Bach00b]。 


SBTM 将 测试 过 程 分 解 为 一 组 测 程 ， 从 而 提高 整个 测试 项 目的 可 说 明 
性 。 为 此 ， 一 个 测 程 包 含 4 个 要 点 : 主题 、 时 间 盒 、 可 评审 的 结果 和 简 
报 [Bach04a]。 














1. 主题 
主题 是 一 个 测 程 需 要 完成 的 任务 。 该 任务 拥有 具体 的 目标 ， 可 以 在 90 
分 钟 内 完成 ， 并 提供 有 价值 的 简报 。 主 题 通 稼 用 一 段 简练 的 文字 摘 述 ， 
其 内 容 可 以 是 测试 一 个 功能 、 检 查 一 个 风险 、 测 试 一 组 用 户 情景 等 。 以 
下 是 两 个 实例 [Bolton07]。 

。 为 产品 DecideRight 生 成 测试 覆盖 大 纲 和 风险 列表 。 


。 探索 产品 QuickBuild 如 何 产生 一 个 决策 : 用 户 疝 导 功 能 应 该 帮助 用 
户 使 用 选项 、 标 准 和 权重 来 计算 最 佳 决策 。 


图 3-14 是 测试 专家 Elisabeth Hendrickson 建 议 的 测 程 主题 模板 


[Hendrickson13]， 其 基本 结构 : “使 用 《资源 ) ， 探 索 〈 特 定 对 象 ) ， 
以 求 发 现 〈 信 息 ) ”。 


。 资 源 是 测试 人 员 实施 探索 的 工具 ， 它 可 以 是 软件 工具 、 测 试 数据 、 
测试 技术 、 测 试 对 象 所 依赖 的 功能 的 等 。 

。 对 象 是 需要 调查 的 产品 元 素 ， 它 可 以 是 一 个 功能 、 一 个 模块 、 一 条 
需求 、 一 个 用 户 情景 等 

。 信 息 是 技术 调查 需要 获得 的 结果 ， 它 可 以 是 测试 模型 、 质 量 属性 、 
潜在 风险 等 











使 用 【资源 ) 
探索 〈 特 定 对 象 ) 
以 求 发 现 《 信 息 ) 


图 3-14 ” 测 程 主题 模板 


该 模版 不 是 编写 主题 的 “最 佳 实践 ?， 并 不 适合 所 有 的 测 程 。 但 是 作为 思 
考 工 具 ， 它 可 以 帮助 测试 人 员 思 考 测 程 的 使 命 ， 明 确 测试 的 对 象 、 手 段 
和 目标 。 利 用 该 模板 ， 以 上 实例 可 以 重 写 为 : 


。 利用 功能 漫游 ， 探 索 产 品 DecideRight， 以 生成 测试 覆盖 大 纲 和 风险 
列表 。 


。 利 用 情景 测试 ， 探 索 产 品 QuickBuild 的 用 户 向 导 功 能 (包含 选项 、 
标准 、 权 重 ) ， 以 检查 它 能 否 顺 利 地 产生 决策 。 


主题 是 测 程 的 指南 针 。 好 的 主题 前 述 了 探索 的 对 象 、 要 达成 的 目标 、 可 
利用 的 资源 ， 但 不 会 对 有 具体 行动 和 结果 做 出 不 必要 的 约束 。 如 图 3-15 所 
示 ， 从 严格 的 脚本 测试 到 目 由 式 探索 的 渐变 谱系 之 中 ， 存 在 许多 测试 方 
法 ， 其 中 主题 是 侦 目 由 探索 的 测试 方法 [Bach10]。 在 它 的 左 侧 是 严格 脚 











本 化 的 测试 〈 即 严格 按照 详细 脚本 进行 测试 ) 、 和 概况 的 脚本 《〈 即 没有 详 

细 指 定 所 有 步骤 的 测试 脚本 ) 、 户 段 的 测试 用 例 〈 即 只 包含 测试 要 点 而 

省 略 了 其 他 内 容 的 测试 用 例 ) ， 在 它 的 左 侧 是 角色 “〈 即 测试 人 员 将 自己 

扮演 为 某 类 用 户 ) 和 上 自由 式 探索 〈 无 需 预 先 准备 的 测试 ) 。 可 见 ， 主 题 

和 
vh EZ 
Æo 


严格 脚本 化 的 测试 片段 的 测试 用 例 主题 自由 式 探索 
概况 的 脚本 | 角色 


图 3-15 主题 是 偏向 自由 探索 的 测试 方法 

2. AY fal 

时 间 盒 是 一 段 不 受 打 扰 的 测试 时 间 ， 其 长 度 一 般 在 60~120 分 钟 ， 以 90 
分 钟 较为 常见 。 在 此 期 间 ， 测 试 人 员 不 回答 问题 ， 不 回复 邮件 ， 不 应 答 
即时 消息 ， 只 专注 地 实施 测试 。 从 工程 师 的 角度 来 看 ， 时 间 盒 使 测试 人 
员 排除 干扰， 全 力 应 对 测试 的 智力 挑战 。 从 测试 团队 的 角度 来 看 ， 固 定 
且 专 属 的 时 间 盒 使 得 测试 规划 和 进度 追踪 变 得 更 容易 。 


可 评审 的 结果 是 测 程 的 产 出 ， 常 见 的 形式 是 测 程 表 ， 其 内 容 可 以 包括 
以 下 几 点 。 


。 主题 

。 测试 人 员 
MATE ii HI ER 
。 测试 设计 和 测试 发 现 
测试 所 发 现 的 缺陷 
测试 所 友 现 的 问题 











。 测试 所 使 用 的 数据 文件 


。 测试 活动 的 时 间 统 计 : 在 产品 安装 、 测 试 设计 与 执行 、 缺 陷 调查 与 
报告 、 非 测试 活动 中 各 花费 了 多 少时 间 


3. 简报 


简报 通过 面对面 的 交流 将 测试 情况 传递 给 测试 经 理 。 在 一 天 的 测 程 结 
束 后 ， 测 试 人 员 辐 测试 经 理 当面 汇报 测试 情况 。 经 理 查 看 测 程 硼 ， 提 出 
一 些 问 题 ， 测 试 人 员 解 释 测试 结 末 ， 并 回答 疑问 。 经 理 也 可 以 召开 小 组 
会 议 ， 让 测试 人 员 轮 流 报告 当天 的 测试 结果 ， 使 测试 小 组 对 当前 产品 的 
质量 形成 较 完 整 的 认识 。 


传统 上 ， 测 程 表 是 一 个 文本 文件 ， 拥 有 固定 的 格式 。 这 样 ， 测 试 经 理 可 
以 用 一 个 文本 处 理 程序 从 多 个 测 程 表 中 提取 信息 ， 形 成 聚合 的 测试 总 结 
报告 。 测 试 人 员 也 可 以 用 程序 读 取 测 程 表 ， 将 其 中 的 缺陷 记录 上 自动 提交 
到 缺陷 管理 系统 。 表 3-5 记 录 了 一 个 测 程 表 的 实例 [Bach00b] 和 相关 解 


FE 


表 3-5 测 程 表 实 例 

















主题 : 分 析 产 品 

MapMaker 的 视图 沫 | 测 程 的 主题 定义 了 一 个 可 以 在 时 间 盒 内 完成 的 任务 。 该 任务 
单 的 功能 ， 并 且 报告 | 将 提供 有 价值 的 质量 信息 

该 区 域 的 潜在 风险 

















区 域 : 

OS | Windows 2000 

Menu | View 区 域 描述 了 测试 范围 。 本 案例 通过 列举 操作 系统 (Windows 
Strategy | Function 2000) 、 被 测试 的 菜单 CView) 、 被 测试 的 功能 (Function 
Testing Testing 和 Functional Analysis) 说 明了 测试 覆盖 的 内 容 
Strategy | Functional 

Analysis 








开始 时 间 : 
2000/11/11, 09:30 
AM 


测试 人 员 : Jonthanc 
Bach 


任务 分 解 : 
# 持 续 时 间 


PN gy 。 | 测 程 表 记 录 了 一 些 任务 分 解数 据 ， 如 在 测试 设计 和 执行 、 缺 


Ge 陷 调查 和 汇报 、 测 程 准备 等 活动 上 花费 的 时 间 。 这 些 数据 配 
ce ime pages | 合 简报 有 助 于 测试 领导 估算 测试 速度 、 评 估 测 试 效率 
25 分 钟 所谓 "机 会 "是 指 测试 人 员 在 测 程 中 测试 了 主题 以 外 的 功 和 > É 
# 测 程 准 各 本 案例 中 ， “主题 vs. 机 会 "是 100/0， 这 表示 测试 人 员 完 全 专 汶 
20 分 钟 于 主题 ， 没有 测试 其 他 功能 

# 主 题 vs. 机 会 

100/0 



















































































数据 文件 : Ji kE 
yl 

FuncTest.mm 测 程 

FuncAnalysis.mm 





a D 的 数据 文件 ， 为 测试 数据 复 用 提供 


Ashi 


测试 笔记 : 





试 履 盖 了 多 种 地 图 元 
素 的 组 合 
View: 
o 欢迎 屏幕 
tee 
eu 测 程 表 的 核心 是 测试 笔记 ， 它 简略 地 叙述 了 测试 故事 为 什 
el 么 测试 ， 如 何 测试 ， 为 什么 认为 测试 是 足够 好 的 。 本 案例 介 
图 元 素 绍 了 测试 策略 ， 并 通过 功能 列表 记录 了 测试 覆盖 的 范围 
e 公路 级 别 
e 街道 级 别 
RAS 























o 缩放 级 别 
e@ 级 别 1 一 14 
e 以 前 的 视图 





风险 : 
e 地 图 元 素 可 能 会 错 
误 显 示 。 





o 中 断 重 给 可 能 导致 




















错误 显示 。 

o 光 舟 可 能 无 法 读 测 程 表 记 录 了 风险 、 缺 陷 和 问题 ， 它 们 不 但 是 测 程 的 直接 产 
取 。 出 ， 还 是 规划 未 来 测试 的 参考 资料 

e 用 户 可 能 使 用 旧版 

本 的 光盘 


。 在 特定 的 缩放 级 别 
下 ， 产 品 的 茶 些 功能 
可 能 出 错 


缺陷 : 
#Bug 1321 

当 缩放 到 特定 级 别 
(街道 名 称 ) 时 ， 产 
品 提 示 插 入 光盘 2。 
插入 光盘 2 后 ， 产 品 | 测 程 表 拥有 固定 的 格式 ， 该 实例 用 特殊 符号 大 "标记 了 文本 处 


DIAS CHE | 理 程序 可 以 提取 的 数据 。 测 试 人 员 只 要 遵循 简单 的 格式 ， 就 
可 以 产生 易于 自动 分 析 的 测 程 表 。 一 个 简单 的 文本 处 理 各 月 

















































































































#Bug 1331 eae ca jane PA 
“Bug 1331 y | 能 够 批量 地 处 理 测 程 表 ， 产 生 测试 报告 和 图 表 ， 并 完成 自动 
BEAN PPR | | 化 任务 (如 提交 缺 队 记 录 到 缺陷 管理 系统 ) 

现 。 

#Bug (未 录入 ) 

当 光 驱 缓慢 或 显存 较 























低 时 ， 功 能 不 稳定 。 
该 缺陷 还 在 调查 中 

















问题 : 
# 问 题 1 
我 如 何 知道 哪些 细节 


Pet SATE | 反感 是 一 种 测试 工具 [Kaner01]。 测 试 人 员 可 以 用 自己 的 


# 问 题 2 引导 测试 的 方向 ， 设 计 更 多 的 测试 用 例 来 探索 这 些 问 题 
我 不 确定 定位 器 地 图 
是 如 何 工作 的 。 用 户 
应 该 如 何 与 其 交互 ? 



































测 程 表 的 本 质 是 测试 报告 ， 问 团队 提供 有 关 产 品 和 调试 的 信息 。 分 析 表 
3-4 不 难得 出 测试 报告 的 基本 需求 。 


。 测试 报告 的 主要 目的 是 为 读者 提供 所 需 的 信息 。 例 如 ， 测 程 表 的 读 
者 是 测试 经 理 或 测试 同伴 ， 因 此 它 的 内 容 比 较 技术 化 ， 常 常 报 告 产 
品 和 测试 的 细节 以 描述 测试 过 程 和 结果 。 





。 报告 测试 执行 者 ， 以 明确 测试 和 报告 的 贡 任 。 
。 报告 测试 活动 的 主题 ， 以 明确 测试 的 目标 和 任务 。 


。 报告 测试 的 情况 ， 包 括 测试 对 象 、 测 试 范 围 、 测 试 策略 、 测 试 技 
术 、 测 试 数据 等 。 这 有 助 于 报告 读者 评估 测试 的 深度 、 广 度 和 质 


里 o 


。 报告 测试 所 发 现 的 缺陷 ， 并 阐述 哪些 功能 表现 稳定 ， 哪 些 功 能 缺陷 


较 多 
。 报告 测试 所 发 现 的 风险 ， 为 项 目 级 别 的 风险 管理 提供 支持 。 


。 根据 测试 情况 ， 提 出 需要 投入 更 多 测试 资源 的 领域 ,包括 值得 进 一 
步调 碍 的 问题 、 值 得 深入 测试 的 区 域 、 值 得 答 试 的 新 测试 策略 等 。 


。 提供 有 关 测 试 过 程 的 信息 ， 为 过 程 改 进 提供 支持 。 


近年 来 ， 出 现 了 更 多 的 SBTM 支 持 工 具 [Carvalho11]， 能 够 支持 多 媒体 格 
式 的 测 程 表 。 例 如 ，RapidReporterl 可 以 方便 地 生成 CSV 和 HTML 格 式 
的 测 程 表 ，CSV 格 式 便于 上 自动 地 提取 数据 ，HTML 格 式 可 包含 宇文 本 的 
测试 笔记 和 屏幕 截图 。 








14 http://testing.gershon.info/reporter/ 。 


通过 聚合 测 程 表 收集 的 数据 ， 测 试 经 理 可 以 评估 团队 的 测试 速度 。 图 3- 
16 显 示 了 已 执行 测 程 的 总 时 间 随 日 期 的 变化 趋势 ， 这 有 助 于 测试 经 理 评 
{ZETA 2 来 前 还 可 以 执行 多 少 测 程 [Bach04a]。 如 果 余 下 的 测试 时 间 
不 足以 完成 测试 使 命 ， 他 需要 采取 措施 ， 以 避免 项 目 失 败 。 
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图 3-16 已 执行 测 程 的 总 时 间 随 日 期 的 变化 趋势 


SBTM 的 本 质 是 动态 管理 。 在 项 目 之 初 ， 测 试 小 组 对 产品 还 不 够 了 解 ， 
测试 经 理 可 以 安排 一 些 “ 侦 查 型 * 的 测 程 去 学 习 产 品 的 各 个 区 域 。 例 如 ， 
上 文 提 到 的 “为 产品 DecideRight 生 成 测试 宪 盖 大 纲 和 风险 列表 ”就 侦查 了 
产品 的 主要 功能 和 风险 。 基 于 这 些 测 程 的 测 程 表 和 简报 ， 测 试 领导 可 以 
拟定 测试 项 目的 总 体 计 划 ， 并 大 致 规 划 出 测 程 的 数目 与 主题 。 


在 项 目 过 程 中 ， 好 的 测试 经 理会 通过 测 程 表 和 每 日 简报 ， 积 极 肥 现 产 品 
或 测试 的 问题 ， 提 出 有 针对 性 的 解决 方案 。 例 如 ， 测 试 经 理 老 王 通过 阅 
读 测 程 表 ， 友 现 测 试 人 员 小 张 常常 花费 过 多 的 时 间 在 缺陷 调 伍 上 。 他 与 
小 张 面谈 以 了 解 具 体 情况 。 面 对 面 的 交流 使 信息 得 到 高 效 的 传递 ， 并 有 
助 于 消除 统计 数据 的 误导 和 书面 文字 的 歧义 。 如 条 小 张 喜 欢 打 破 砂 锅 、 
ERIK, ZEAE: 在 调查 缺陷 时 ， 可 以 设 定 一 个 最 长 用 时 《如 
10 分 钟 ) ， 当 时 间 用 尽 时 ， 应 该 停止 调查 ， 根 据 已 知情 况 提交 缺陷 报 

告 。 此 外 ， 他 还 会 安排 一 些 有 技术 挑战 的 任务 给 小 张 ， 以 帮助 他 增进 技 
术 水 平 。 如 果 小 张 因 不 了 解 产 品 而 花费 了 过 多 的 调查 时 间 ， 老 王 会 安排 
有 经 验 的 员工 指导 小 张 ， 或 杀 目 传授 一 些 知识 和 技能 ， 以 帮助 他 小 过 难 
天 。 如 果 是 糟 料 的 可 测试 性 导致 了 过 长 的 调查 时 间 ， 老 王 会 和 编程 小 组 
联系 ， 提 出 改进 意见 ， 以 推动 产品 可 测 性 的 提高 。 


随 看 产品 和 项 目 环境 的 变化 ， 测 试 内 容 与 策略 也 要 作 相 应 的 调整 。 测 试 
经 理会 根据 测 程 的 结果 来 调整 下 一 步 的 测试 计划 。 他 可 以 新 增 几 个 测 
程 ， 以 调查 最 新 发 现 的 风险 ; 他 也 可 以 合并 几 个 测 程 ， 将 省 下 的 时 间 分 
配给 更 重要 的 测 程 。 这 些 决 集 的 事实 基础 就 是 测 程 表 和 简报 。 




















3.2.14 移交 文档 


当 测 试 人 员 离 开 当 前 项 目 时 ， 他 可 以 考虑 撰写 移交 文档 ， 帮 助 接 手 其 工 
作 的 同事 尽快 上 手 。 移 交 文档 的 价值 在 于 作为 领域 专家 的 测试 人 员 系 统 
性 地 写 出 专家 知识 和 经 验 。 与 测试 设计 规约 等 文档 侧重 于 “前 瞻 ? 不 同 ， 
移交 文档 更 侧重 “回顾 ”与 “总 结 ”。 它 包含 如 下 内 容 。 





BMT BID. : 解释 被 测 对 象 在 产品 中 的 作用 与 地 位 。 


文档 链接 ;指向 需求 说 明 、 设 计 文档 、 测 试 设计 规约 等 文档 的 链 
接 ， 为 进一步 学 习 提 供 素 材 。 


基本 测试 想法 : 列举 10 条 最 重要 的 训 试 想法 。 当 测试 设计 规约 已 
经 详细 记录 测试 设计 ， 移 交 文档 的 作用 是 提供 一 个 入 门 的 台阶 ， 所 
记录 的 测试 想法 保证 了 基本 的 测试 履 盖 ， 同 时 让 继任 者 可 以 立即 开 
全 测试 。 

经 验 与 技巧 : 阐述 测试 人 员 在 测试 实战 中 积累 的 经 验 与 技巧 ， 包 
括 好 用 的 工具 、 未 公开 的 设置 、 快 速 的 调试 手段 等 。 这 些 技巧 是 领 
域 知 识 的 具体 表现 ， 能 够 快速 提高 继任 者 的 工作 效率 。 

己 知 局 限 : 介绍 被 测试 对 象 的 局 限 和 缺陷 。 软 件 不 会 是 完美 的 ， 
总 存在 一 些 不 足 和 不 予 修复 的 缺陷 。 了 解 被 测 对 象 的 问题 ， 能 够 更 
全 面 地 理解 领域 ， 并 减少 疑惑 。 

测试 目 动 化 : 介绍 可 用 的 自动 化 工具 和 测试 用 例 。 


测试 数据 : 介绍 可 用 的 测试 数据 文件 、 测 试 数据 库 等 。 





移交 文档 无 需 长 篇 大 论 ， 只 要 指出 重点 即 可 ， 详 细 内 容 可 以 用 链接 指 加 
相关 文档 、 共 享 数据 、 测 试 数据 库 、 缺 陷 管理 系统 等 信息 源 。 移 交 文 档 
不 是 新 员工 入 职 手 册 ， 无 需 介 绍 众 所 皆 知 的 测试 知识 ， 它 应 该 聚焦 于 被 
测 对 象 的 领域 和 特点 ， 介 绍 现 有 的 测试 知识 、 经 验 和 资产 ， 为 接手 的 同 
事 成 为 新 的 领域 专家 提供 垫 脚 石 。 


3.3 在 测试 中 发 展 测 试 文档 


3.2 节 介绍 了 一 批 不 同形 式 的 测试 文档 。 在 实际 工作 中 ， 测 试 人 员 不 需 
要 撰写 所 有 这 些 文档 ， 也 不 需要 在 项 目 之 初 完成 所 有 的 文档 工作 。 本 市 
将 介绍 如 何在 测试 过 程 中 发 展 测 试 文档 。 


3.3.1 初始 测试 文档 
在 项 目 之 初 ， 测 试 人 员 可 以 参考 3.2.1 节 的 介绍 来 编写 一 份 测试 计划 草 
稳 ， 主 要 确定 以 下 内 容 。 

。 任务 : 测试 人 员 完 成 什么 工作 。 

。 策略 : 用 什么 方法 去 完成 工作 。 

。 保障 : 何 时 用 何 种 资源 完成 工作 。 

。 产品 : 测试 工作 产 出 哪些 工作 制品 。 


这 份 草稿 的 篇 幅 可 以 很 得 〈1~2 页 ) ， 其 作用 是 为 测试 的 技术 任务 提供 
TEAR CRRA ， 为 测试 组 织 与 协作 提供 基础 〈“ 任 务 和 产品 ) 。 有 
了 这 份 草 稳 ， 测 试 人 员 可 以 与 其 他 项 目 成 员 协 作 ， 共 同 友 展 测 试 计划 。 
草稿 的 好 处 在 于 ， 它 提供 了 讨论 的 基础 ， 其 未 定型 的 状态 又 玛 励 讨论 者 
提出 更 多 的 想法 。 


。 与 测试 经 理 讨 论 测试 计划 ， 明 确 测试 任务 的 优先 级 、 测 试 进度 的 安 
排 、 工 作 制 品 的 质量 要 求 。 


。 与 程序 员 讨论 测试 计划 ， 请 程序 员 从 实现 的 角度 提出 测试 想法 ， 并 
评论 现 有 的 测试 策略。 程序 员 能 提出 一 些 测 试 人 员 不 易 想 到 的 测试 
要 点 ， 这 对 于 改进 测试 策略 很 有 帮助 。 


邀请 几 个 熟悉 的 同事 ， 组 织 一 个 小 型 的 头脑 风暴 会 议 ， 以 产生 更 多 
的 测试 想法 。 参 与 者 不 需要 很 多 ， 只 要 彼此 信任 ， 能 够 畅所欲言 
就 可 以 在 30 分 钟 的 会 议 中 产生 许多 很 好 的 想法 。 参 与 者 的 不 同 背 景 
和 不 同 视角 可 以 增加 测试 想法 的 多 样 性 。 











除了 与 他 人 协作 ， 测 试 人 员 还 可 以 做 一 些 “ 功 课 ?”， 以 发 展 测试 设计 。 


。 对 新 开发 的 功能 做 一 些 基 本 的 测试 。 如 宋 待 开发 功能 还 没有 实现 ， 
可 以 对 相关 功能 做 一 些 测试 。 例 如 ， 新 功能 是 在 PowerPoint 的 图 片 
处 理 中 增加 几 种 “图 片 效 果 ”*”， 测 试 人 员 可 以 对 图 片 和 周边 功能 做 一 
些 测试 。 测 试 的 目的 是 了 解 新 功能 的 内 容 、 它 的 运行 环境 、 与 它 配 
合 的 其 他 功能 等 ， 从 而 建立 整体 认识 。 测 试 产 出 可 以 是 一 份 功能 列 


表 ， 它 分 析 了 新 功能 的 具体 能 力 ， 并 标记 了 潜在 风险 。 





从 团队 内 部 和 互联 网 上 收集 测试 资料 ， 例 如 测试 指南 、 测 试想 法 列 


表 、 质 量 特性 列表 、 检 查 列表 、 缺 陷 目 录 等 。 对 收集 到 的 素材 进行 
裁 缠 、 补 充 、 调 整 ， 使 它们 符合 项 目 语 境 。 该 素材 整理 的 过 程 也 是 
学 习 被 测 产 品 和 项 目 环 境 的 过 程 ， 能 够 帮助 测试 人 员 更 深入 地 思考 


产品 和 测试 任务 。 


积极 研究 规格 说 明文 档 ， 并 与 产品 经 理 交 流 ， 以 理解 产品 要 解决 的 


问题 和 产品 如 何 解决 问题 。 此 外 ， 还 会 探 完 隐 式 规格 说 明 ， 从 而 获 
得 更 全 面 的 理解 。 和 常见 的 隐 式 规格 说 明 包 括 苋 争 对 手 的 产品 、 产 品 
家 族 的 其 他 产品 、 产 品 的 已 发 布 版 本 、 电 子 邮件 、 会 议 记 录 、 采 访 





wok. AP Rit, BST, BORE. ERIE, SUE 
Af 
去 于 o 








以 上 交流 和 研究 并 不 局 限于 项 目 早期 。 测 试 人 员 可 以 在 项 目 全 过 程 持续 





地 交流 ， 逐 渐 地 展开 研究 。 在 工作 中 ， 我 会 用 笔记 软件 记录 这 些 讨论 与 


研究 的 成 果 。 图 3-17 是 我 用 OneNote 收集 整理 的 工作 资料 。 


b http://office.microsoft.com/en-us/onenote/ 。 
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RE Document obfuscation using r 
And with that, we have created our first map for the Olympics. While you are here you can PDF to Word 
zoom in and pan around on the map as well as hover over the data points to see the values for 
each country. 
Here is a link to a video showing all of the steps required: 


RegEx in Search and Replace 
Pub: catalog merge 


VBA 
Power View in Excel 2103 Olympics Data - Day 1 Data types 
Thanks for following along with this first post. While there is a lot more functionality available in riser Crna 
the map, much of it we will likely cover in future posts, | thought it would be fun to start with a 
simple exercise for the first post to show you how easy it can be to build a map in Excel 2013 Word Objects 
with Power View. Class module 
Auto Macros 


Static array variables 
区 RE OM commands 











图 3-17 用 OneNote 组 织 资料 


。 将 相同 主题 的 资料 放 在 一 个 分 区 中 ， 以 实现 信息 分 类 。 例 如 ， 图 3- 
17 中 OneNote 的 当前 分 区 是 Office， 它 记录 了 Microsoft Office 相 关 的 
技术 资料 。 我 还 创建 了 Note、TestPass、Bug 等 分 区 ， 以 组 织 相 应 类 
别 的 信息 。 


。 利用 页 的 父 DR RES ea 使 得 资料 组 织 直观 明 
了 。 例 如 图 3-17 石 侧 所 示 的 页 标签 ， 它 通过 层次 结构 进一步 对 信息 
分 类 ， 便 于 快速 找到 PowerPoint、Excel、Word 等 具体 类 别 的 信 


4U oO 


。 页 可 以 容纳 文档 、 图 片 、 链 接 、 文 字 和 图 表 等 多 种 元 素 ， 能 够 将 相 
天 主题 的 内 容 一 网 打 尽 。 








。 OneNote 提 供 了 全 文 搜索 功能 ， 让 资料 检索 简单 且 快 速 。 


。 笔记 软件 是 一 个 “容器 ”， 容 纳 了 来 目 方方面面 的 信息 。 在 茶 种 程度 
上 ， 它 提供 了 一 个 工作 空间 ， 便 于 高 效 地 研究 多 种 资料 ， 从 而 更 好 
地 理解 产品 ， 更 快 地 设计 测试 。 


当 测 试想 法 相对 完备 后 ， 测 试 人 员 可 以 更 新 测试 计划 草稿 ， 以 发 布 可 供 
评审 的 测试 计划 初稿 。 之 后 ， 他 邀请 测试 小 组 、 程 序 员 、 产 品 经 理 等 评 
审 测试 计划 ， 并 根据 反馈 意见 做 出 修改 。 评 审 的 一 个 重要 成 果 是 项 目 团 
队 对 测试 的 任务 、 策 略 、 保 障 和 产品 达成 一 致意 见 ， 使 得 测试 过 程 可 以 
较 顺 利 地 展开 。 


3.3.2 ”发 展 测 试 文档 


测试 计划 通过 评审 之 后 ， 测 试 人 员 需 要 在 测试 中 持续 发 展 测试 文档 。 如 
3.1.2 市 所 讨论 的 ， 测 试 人 员 可 以 在 测试 设计 、 测 试 执行 、 测 试 评估 、 测 
试 学 习 等 各 个 阶段 有 发 展 测试 文档 。 测 试 是 过 代 过 程 ， 大 的 循环 周期 是 测 
试 人 员 测 试 每 一 份 构建 ， 小 的 循环 周期 是 测试 人 员 用 上 一 步 测试 的 结果 
驱动 下 一 步 测试 的 方向 。 在 迭代 中 ， 测 试 文档 为 新 的 测试 设计 提供 灵 
感 ， 又 记录 了 新 的 测试 想法 和 测试 发 现 。 


CemKaner 等 建议 测试 人 员 在 测试 执行 时 ， 手 边 要 放 一 个 笔记 本 ， 随 时 
记录 新 的 测试 想法 。 他 们 甚至 在 硬件 资源 相对 紧张 的 1999 年 便 提议 : 更 
好 的 做 法 是 ， 在 一 台 计 算 机 上 测试 ， 在 男 一 台 计 算 机 上 更 新 测试 计划 

[Kaner99]。 我 的 切身 感受 是 ， 测 试 计 算 机 最 好 能 连接 两 块 大 屏幕 显示 

器 ， 在 一 台 显 示 堪 上 测试 产品 ， 在 另 一 台 显 示 器 上 使 用 笔记 软件 来 发 展 
测试 文档 〈10.1.3 节 也 讨论 了 多 显示 堪 的 优点 ) 。 如 图 3-18 所 示 ， 左 侧 
的 屏幕 有 笔记 软件 OneNote 和 思维 导 图 软件 FreeMind! ，OneNote 记 录 了 
测试 笔记 《包括 测试 想法 和 观察 结果 ) ，FreeMind 展 示 了 质量 特性 大 

纲 ; 被 测 软 件 * 必 应 词典 ?和 测试 工具 (Process Explorer!” 和 Fiddler218 ) 
在 右 侧 的 屏幕 ， 它 们 完成 测试 执行 与 监控 。 























16 http://freemind.sourceforge.net/wiki/index.php/Main_Page 。 
17 http://technet.microsoft.com/en-us/sysinternals/default 。 


18 http://www .fiddler2.com/fiddler2/ 。 
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图 3-18 在 测试 的 同时 更 新 测试 文档 图 
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芷 测试 执行 时 ， 可 以 随时 但 看 测试 笔记 和 相关 测试 文档 ， 用 文档 中 
的 测试 想法 去 设计 具体 的 测试 用 例 。 此 外 ， 我 会 时 刻 质疑 文档 的 完 
整 性 ， 检 查 既 有 测试 想法 的 不 足 ， 以 激发 出 更 多 的 测试 思路 。 


将 测试 执行 发 现 的 新 信息 记 入 测试 笔记 。 主 流 的 笔记 软件 文 持 快速 
地 录入 、 截 屏 、 格 式 化 、 标 记 ， 人 允许 并 即 记录 测试 发 现 ， 且 没有 和 额 
外 的 负担 。 例 如 ，OneNote 文 持 快 速 排版 ， 用 键盘 快捷 键 生成 符号 
列表 、 数 字 列 表 、 表 格 和 标签 ， 它 还 支持 快捷 键 Win+S 将 屏幕 截图 
插入 当前 笔记 页 面 ， 从 而 便捷 地 产生 图 文 并 成 的 测试 笔记 。 


由 于 测试 笔记 记录 了 即兴 的 想法 、 发 现 的 问题 、 产 生 的 疑惑 、 捕 获 
的 细节 ， 因 此 不 必 花 精力 记 住 测试 过 程 的 点 点 滴 滴 。 这 有 利于 专注 
于 测试 ， 目 由 上 自在 地 思考 与 行动 。 


在 测试 过 程 中 ， 修 改 功能 列表 、 思 维 导 图 、 数 据 和 矩阵 等 测试 资料 ， 
使 它们 反映 新 的 知识 和 测试 设计 。 建 议 用 多 种 形式 的 文档 记录 测试 
设计 和 测试 友 现 。 测 试 语 境 复 森 多 变 ， 应 该 选择 合适 的 记录 方式 ， 
而 不 是 局 限于 茶 种 特定 的 方法 。 我 将 测试 笔记 作为 核心 文档 ， 用 它 
链接 其 他 资料 ， 构 成 集中 组 织 的 测试 文档 集 。 


经 过 测试 执行 的 补充 ， 测 试 笔记 所 包含 的 测试 设计 会 更 加 全 面 和 深 
入 ， 所 记录 的 拉 术 细 市 会 让 测试 执行 更 有 针对 性 。 几 周 之 后 ， 当 我 
再 次 测试 相同 的 功能 时 ， 我 能 够 快速 上 手 ， 而 不 必 苗 否 回 忆 。 


测试 笔记 是 测试 报告 和 测试 评审 的 原始 素材 。 对 其 内 容 和 作 整 理 ， 
就 可 以 形成 测试 总 结 报告 ， 让 项 目 团队 了 解 测试 的 进展 。 此 外 ， 将 
报告 发 送 给 程序 员 、 产 品 经 理 和 测试 伙伴 ， 请 他 们 评审 测试 设计 ， 








能 够 获得 更 多 的 测试 想法 。 


对 于 在 何 处 增加 测试 设计 的 深度 ，Cem Kaner 等 提出 了 6 个 区 域 ， 值 得 测 
WA RE [Kaner99]. 





最 可 能 发 生 错 误 的 区 域 。 如 宁 测 试 人 员 知 道 哪些 区 域 可 能 存在 大 
量 缺 陷 ， 就 在 那里 仔细 地 测试 。 缺 陷 往往 聚集 在 一 起 ， 应 该 尽早 测 
试 这 些 高 危 区 域 。 


错误 最 明显 的 区 域 。 从 用 尸 的 角度 看 竺 产品， 和 葡 试 去 发 现 那些 用 
户 最 容易 发 现 的 错误 。 这 让 测试 人 员 专 注 于 对 用 户 最 重要 的 情景 和 








和 
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最 有 差别 的 程序 区 域 。 产 品 想 要 必得 用 户 需要 提供 独一无二 的 特 
性 ， 这 些 特 性 被 称 为 软件 的 “卖点 ”。 测 试 人 员 需 要 仔细 测试 这 些 区 
域 ， 因 为 在 卖点 上 失败 将 导致 竞争 失利 。 


最 难 修正 的 区 域 。 许 多 软件 缺陷 没有 被 修正 是 因为 没有 时 间 完 成 
高 难度 的 修复 。 应 该 尽早 测试 难以 修正 的 区 域 ， 以 便 程序 员 有 更 多 
的 时 间 去 修复 缺陷 。 


测试 人 员 最 理解 的 区 域 。 通 过 测试 一 个 熟悉 的 区 域 和 它 的 周边 区 
域 ， 测 试 人 员 能 够 快速 地 测 完 一 个 局 部 ， 并 更 好 地 理解 产品 。 这 有 
助 于 他 更 有 效 地 进入 下 一 个 区 域 。 

















总 而 言 之 ， 测 试 人 员 应 该 在 测试 中 逐步 发 展 测 斌 文档。 首先 编写 一 个 测 
试 草案 ， 明 确 任务 、 和 策略、 保障 和 产品 ， 并 建立 起 测试 设计 的 框架 。 然 


后 ， 


通过 测试 迭代 增加 测试 设计 的 广度 和 深度 ， 将 重要 的 设计 成 果 和 训 


试 及 现 纳 入 测试 文档 集 。 


3.4 小 结 
本 章 讨论 测试 文档 的 编写 与 维护 策略 ， 并 介绍 了 一 批 具 体 的 测试 文档 。 
测试 文档 是 项 目 团队 或 测试 人 员 实 施 测试 的 工具 。 


测试 文档 的 根本 价值 在 于 帮助 测试 人 员 更 有 效 地 测试 。 偶 离 此 价值 
的 文档 过 程 将 浪费 资源 、 危 害 项 目 。 


在 复杂 的 软件 开 友 中 ,，“ 测 试 文档 ”并 不 是 一 份 文档 ， 而 是 一 组 文 
档 。 测 试 人 员 要 根据 项 目 语 境 ， 决 定 测 试 文档 的 类 型 、 内 容 和 形 


式 。 

测试 文档 要 为 读者 服务 。 在 许多 情况 下 ， 测 试 文档 最 重要 的 读者 是 
测试 人 员 目 己 。 

用 核心 文档 组 织 测试 素材 ， 构 成 测试 文档 集 ， 让 多 份 文档 相互 文 
持 、 彼 此 参考 。 

首先 建 立 测试 设计 的 框 杂 ， 然 后 在 测试 学 习 、 测 试 设计 、 测 试 执 
行 、 测 试 评估 的 迭代 中 ， 注 重 实效 地 发 展 测试 文档 。 

本 解 不 同形 式 的 测试 文档 ， 收 集 不 同 内 容 的 测试 资料 ， 有 助 于 全 面 
思考 、 灵 活 应 用 。 
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所 谓 训 试 建 模 ， 就 是 以 测试 为 目的 建立 产品 模型 。 建 模 对 象 可 以 是 系 
统 、 组 件 、 功 能 等 不 同 粒度 的 被 测 目标 ， 建 模 的 结果 是 一 个 指导 测试 设 
计 的 模型 (简称 “测试 模型 *) ， 它 省 略 了 一 些 与 测试 无 天 的 信息 ， 强 调 
了 值得 测试 关注 的 信息 。 


实际 上 ， 所 有 的 测试 都 基于 模型 。 正 如 第 1 章 所 论述 的 ， 软 件 包 含 业 
务 、 设 计 、 技 术 等 多 方面 的 细节 ， 其 复杂 上 度 已 经 超越 了 人 的 理解 能 力 。 
为 了 实施 对 质量 信息 的 技术 调查 ， 测 试 人 员 必 有 需 使 用 一 组 简化 的 模型 来 
分 析 产 品 和 设计 测试 。 即 便 测 试 人 员 没 有 特意 去 建立 模型 ， 他 的 测试 活 
动 也 是 基于 他 对 产品 的 抽象 认 知 ， 即 一 些 隐 式 模型 。 如 果 他 有 意识 地 分 
析 产 品 和 业务 ， 形 成 针对 产品 的 测试 模型 ， 就 可 以 更 局 效 地 测试 。 本 章 
em ade Ne 
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4.1 从 组 合 测试 看 建 模 的 重要 性 


本 节 首先 介绍 组 合 测试 的 基本 概念 和 方法 ， 然 后 讨论 如 何 根据 项 目 语 境 
来 完善 组 合 测试 的 测试 模型 ， 从 而 说 明 测试 建 模 的 重要 性 。 


4.1.1 组 合 测 试 简 介 


组 合 测 试 Ccombinatorial testing) 是 一 种 测试 用 例 生 成 方法 。 测 试 人 员 
将 被 测试 对 象 抽象 为 一 个 受到 多 个 变量 影响 的 系统 ， 其 中 每 个 变量 的 取 
值 是 离散 且 有 限 的 。 然 后 ， 他 使 用 组 合 测试 工具 1 生成 满足 特定 组 合 履 
善 标准 的 组 合 测试 用 例 集 〈 本 节 人 简称 “测试 集 ”) 。 











1 http://www.pairwise.org/tools.asp 列举 30 余 种 组 合 测试 工具 。 





。 两 因素 组 合 测试 (pairwise combinatorial testing， 也 称 配对 测试 、 全 
对 偶 测 试 ) 生成 的 测试 集 可 以 履 兰 任意 两 个 变量 的 所 有 取 值 组 合 。 
在 理论 上 ， 该 用例 集 可 以 骏 露 所 有 由 两 个 变量 共同 作用 而 引发 的 缺 


陷 。 


。 多 因素 组 合 测试 (n-way combinatorial testing, n>2) 生成 的 测试 集 
可 以 履 盖 任意 n 个 变量 的 所 有 取 值 组 合 。 在 理论 上 ， 访 用例 集 可 以 
发 现 所 有 由 n 个 因素 共同 作用 引发 的 缺陷 。 


在 理想 情况 下 ， 测 试 人 员 应 该 测试 所 有 变量 的 全 部 取 值 组 合 ， 即 使 用 全 
组 合 测试 集 。 但 是 ， 该 测试 集 可 能 非常 庞大 ， 会 超出 测试 的 可 用 资源 。 
为 了 按时 完成 测试 ， 测 试 人 员 和 常用 组 合 测 试 来 生成 规模 较 小 的 测试 集 。 


例如 ， 测 试 人 员 实 施 产品 的 配置 测试 ， 需 要 测试 的 软件 配置 如 表 4-1 
示 。 由 该 表 可 知 全 组 合 测试 需要 2x3x4x2x3x3=432 个 配置 组 合 。 这 需要 
大 量 的 测试 时 间 ， 可 能 给 项 目 进 度 带 来 风险 。 根 据 他 的 测试 经 验 ， 配 置 
测试 发 现 的 缺陷 大 多 是 由 一 个 或 两 个 配置 参数 所 暴露 的 ， 只 要 和 窗 盖 任意 
两 个 配置 参数 的 取 值 组 合 ， 就 能 发 现 大 多 数 配 置 缺 聊 。 于 是 ， 他 利用 微 
软 的 组 合 测试 工具 PICT* 来 生成 两 因素 组 合 测试 用 例 集 (本 节 简 称 “ 两 
因素 测试 集 ”)〉。 


2 http://download.microsoft.com/download/f/5/5/f55484df-8494-48fa-8dbd-8c6f76cc014b/pict33.msi 
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首先 ， 他 用 一 个 文本 文件 插 述 测试 模型 ， 即 该 测试 需要 考虑 哪些 变量 ， 
每 个 变量 有 哪些 取 值 。 图 4-1 是 他 根据 表 4-1 制 作 的 模型 文件 ， 其 中 一 行 
记录 了 一 个 组 合 测试 的 变量 ，“:” 之 前 是 变量 名 ， 之 后 是 变量 的 可 能 取 
值 。 该 模型 文件 定义 了 配置 测试 的 配置 需求 。 


表 4-1 配置 测试 的 参数 和 取 值 








取 值 


配置 参数 
-zr 
mr 


= = a 


File Edit Format View Help 


PLATFORM: x86, amd64 
Single, Dual, Quad 
2GB, 4GB, 8GB, 16GB 
SCSI, IDE 
WinVista, Win7, Win8 
8.0, 9.0, 10.0 








图 4-1 PICT 的 模型 文件 


然后 ， 他 在 命令 行 上 调用 “pict.exe config_test_model.txt /0:2 > 
pairwise_cases.txt”3”》， 生 成 如 表 4-2 所 示 的 两 因素 测试 集 ， 其 特征 是 任意 
两 个 变量 (如 PLATFORM-CPU、CPU-HDD、RAM-OS 等 ) 的 取 值 组 合 
都 被 履 凋 。 这 时 ， 测 试用 例 个 数 由 全 组 合 的 432 个 下 降 到 16 个 《 即 全 组 
合 的 规模 是 两 因素 组 合 的 27 倍 ) ， 从 而 加 快 了 测试 进程 ， 且 没有 显著 降 
低 错 误 发 现 能 力 。 


3 在 该 命令 中 ，config test_model.txt 是 输入 的 模型 文件 ，/o:2 的 含义 是 生成 两 因素 测试 集 ， 
pairwise_testcase.txt 是 输出 结果 。 
































表 4-2 两 因素 组 合 测试 用 例 集 











测试 人 员 还 可 以 使 用 PICT 生 成 模型 文件 的 三 因素 、 四 因素 、 五 因素 、 六 
因素 〈 即 全 组 合 ) 测试 集 ， 其 测试 用 例 的 个 数 如 图 4-2 所 示 。 由 图 中 可 
知 ， 随 着 因素 的 提高 ， 测 试用 例 的 个 数 呈 非 线性 增长 。 在 测试 实践 中 ， 
受到 测试 资源 的 限制 ， 许 多 测试 人 员 仪 使 用 两 因素 组 合 测 试 。 
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图 4-2 测试 集 的 规模 随 因素 个 数 快速 增长 
4.1.2 ”根据 语 境 来 完善 组 合 测 试 的 模型 


由 4.1.1 可 知 ， 组 合 测 试 针 对 的 问题 是 没有 足够 的 测试 资源 来 运行 所 有 

的 测试 用 例 《〈 全 组 合 测试 集 》 ， 提 出 的 解决 方法 基于 一 个 数学 模型 和 一 

个 假设 。 

。 所 基于 的 数学 模型 如 公式 4-1) 所 示 ， 产 品 的 功能 被 抽象 为 函数 f 
， 产 品 的 输入 被 抽象 为 函数 的 变量 x 1 ,XxX,,..., Xm» Hx (1z<i <m ) 
的 可 能 取 值 是 有 限 的 ， 产 品 的 输出 被 抽象 为 函数 的 返回 值 y 1 ,y 2, 
sevice 


。 MIKRE E UN RMAs Se tS (st <m) 输入 变量 
的 取 值 组 合 ， 那 么 该 测试 可 以 发 现 函 数 f 的 大 部 分 错误 。 对 于 两 因 
素 组 合 测 试 而 言 ， 其 假设 是 如 果 测 试 履 产 了 任意 两 个 输入 变量 的 取 
值 组 合 ， 那 么 它 可 以 发 现 产 品 的 大 部 分 错误 。 
Y1,Y2,°°* ,Yn = f (T1, LT2: Im) (4-1) 
以 上 数学 模型 和 假设 就 构成 了 组 合 测 试 的 测试 模型 。 它 非常 简单 且 抽 
象 ， 可 以 广泛 地 “应 用 ”于 不 同 的 测试 活动 。 但 是 ， 正 因为 它 过 于 简单 且 
抽象 ， 测 试 人 员 需 要 根据 产品 特征 来 完善 该 模型 ， 才 能 使 它 “ 适 用 ”于 当 
前 的 测试 活动 。 本 节 将 介绍 一 些 组 合 测 试 可 能 过 到 的 问题 ， 并 讨论 如 何 
完善 测试 模型 来 解决 问题 。 
问题 1: 组 合 测 试 的 理论 没有 讨论 如 何 建立 其 数学 模型 


组 合 测试 的 测试 模型 很 简单 ， 但 是 组 合 测试 的 文献 很 少 讨论 如 何 根据 产 

















品 来 构建 该 模型 [Bach04b]。 然 而 ， 测 试 人 员 在 实施 组 合 测试 时 ， 必 须 
解决 以 下 问题 。 


。 确定 变量 x1,x，, Xp ， 即 确定 被 测 产品 的 输入 变量 。 测 试 产 品 的 
一 个 功能 ， 要 考虑 许多 因素 。 如 图 4-3 所 示 ，PowerPoint 可 以 对 图 片 
实施 “阴影 "特效 。 在 测试 该 功能 时 ， 测 试 人 员 除 了 考虑 图 4-3 所 呈 
现 的 7 个 设置 项 ， 还 需要 考虑 图 片 类 型 、 图 片 像素 、 图 片 是 否 透 
明 、 图 片 是 否 具 有 其 他 特效 、 图 片 是 否 与 其 他 元 素 “ 组 合 ?、 图 片 的 








输出 类 型 等 变量 。 测 试 人 员 不 需要 通过 一 次 测试 去 履 兰 所 有 这 些 变 
量 ， 但 是 他 应 该 谨慎 选 择 当前 的 测试 需要 履 兰 哪些 变量 ， 并 计划 更 
多 的 测试 以 履 盖 余下 的 变量 。 如 果 他 的 测试 设计 遗漏 了 重要 的 变 
量 ， 那 么 组 合 测试 也 会 错失 重要 的 测试 用 例 。 


确定 每 个 变量 xi 的 取 值 集合 。 


表 4-3 是 图 4-3 所 列 7 个 设置 项 的 可 能 取 值 个 数 。 即 便 测试 人 员 只 考虑 
这 7 个 变量 ， 表 4-3 的 两 因素 测试 集 也 包含 海量 的 测试 数据 。 为 了 获 
得 小 规模 的 两 因素 测试 集 ， 测 试 人 员 常 常用 等 价 类 划分 技术 来 获得 
每 个 设置 项 的 “典型 取 值 >。 如 果 他 的 等 价 类 划分 遗漏 了 一 个 重要 的 
等 价 类 ， 那 么 组 合 测 试 也 会 错失 重要 的 测试 数据 。James Bach 对 两 
因素 组 合 测试 的 有 效 性 进行 了 实验 。 他 发 现 他 构造 的 两 因素 测试 集 
错过 了 许多 缺陷 《缺陷 发 现 率 不 到 50%) ， 缺 陷 遗 漏 的 主要 原因 是 
该 测试 集 没 有 包含 可 以 暴露 错误 的 特定 取 值 [James04b]。 也 就 是 
说 ， 如 果 变 量 x; 的 取 值 集合 不 够 好 ， 组 合 测 试 的 效果 就 会 大 打折 
扣 。 

确定 检查 方法 ， 以 判断 返回 值 y | ,y，, -Yn 是 否 正确 。 测 试 人 员 需 


要 构造 测试 先知 以 检查 产品 的 输出 。 不 严 齐 的 检查 有 可 能 遗漏 已 经 
暴露 的 缺陷 。 
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图 4-3 PowerPoint 的 图 片 阴 影 功能 


表 4-3 设置 项 的 取 值 个 数 


16 581 375 


100 








遗憾 的 是 ， 现 有 的 组 合 测 试 研究 并 没有 很 好 地 回答 以 上 问题 。 这 体现 了 
组 合 测试 面临 的 根本 性 挑战 : 纯粹 的 数学 模型 远离 产品 的 业务 模型 和 代 
码 的 实现 模型 ， 不 能 直接 应 用 于 测试 。 为 此 ， 测 试 人 员 需 要 完善 组 合 模 
型 ， 使 之 符合 业务 模型 和 实现 模型 。 在 此 过 程 中 ， 测 试 人 员 需 要 深入 地 
研究 业务 领域 、 产 品 需求 、 代 码 实 现 、 测 试 技术 等 内 容 ， 付 出 持续 的 努 
力 且 无 捷径 可 走 。 


问题 2: 组 合 测试 可 能 会 错过 最 重要 的 取 值 组 合 

图 4-4 是 Word 2013“ 高 级 ”设置 的 一 部 分 。 为 了 测试 Word 在 不 同 设置 下 的 
行为 ， 可 以 将 一 个 单 选 框 视 为 一 个 变量 ( 取 值 为 “启用 ”或 “关闭 ”) ， 对 
它们 生成 两 因素 测试 集 。 该 测试 集 看 似 较 好 地 和 窗 产 了 不 同 变 量 的 组 合 ， 
但 是 很 可 能 没有 和 履 六 Word 的 默认 设置 。 不 驻 的 是 ， 很 多 用 户 从 不 修改 











默认 配置 ， 测 试 集 没 有 有 覆盖 最 常用 、 最 重要 的 取 值 组 合 。 这 揭示 了 组 合 
测试 的 一 个 风险 : 组合 测 试 的 数学 模型 可 能 不 适用 于 被 测 软件 。 如 果 测 
人 只 依赖 组 合 测试 工具 ， 他 可 能 错过 重要 的 测试 
用 例 。 


E 使 用 Word 时 采用 的 高 级 选项 . 
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图 4-4 Word 的 “高 级 ”设置 

为 了 避免 漏 测 ， 测 试 人 员 应 该 利用 领域 知识 和 测试 技能 ， 发 掘 出 一 批 必 
须 测试 的 取 值 组 合 。 考 虑 到 Word 用 户 的 使 用 模式 ， 测 试 人 员 可 以 参考 
如 下 测试 策略 。 


1. 将 默认 设置 对 应 的 取 值 组 合 加 入 测试 集 。 


2. 对 于 默认 设置 ， 每 次 修改 其 中 一 个 单 选 框 ， 获 得 一 批 取 值 组 合 。 将 它 
们 加 入 测试 集 。 


3. 考虑 到 大 多 数 用 户 不 修改 默认 设置 或 只 修改 1 个 设置 ， 该 测试 用 例 集 
己 经 “足够 好 ?”， 可 以 将 其 付 诺 测试 。 


图 4-4 中 一 共有 19 个 单 选 框 。 如 果 不 考 虑 单 选 框 之 间 的 依赖 关系 ， 以 上 
策略 将 产生 20 条 测试 用 例 。 如 果 使 用 PICT 生 成 这 19 个 变量 的 两 因素 测试 
集 ， 该 集合 包含 10 条 测试 用 例 。 虽 然 手 工 生成 的 测试 用 例 要 多 于 PICT 的 
结果 ， 但 是 它们 更 贴近 用 户 所 使 用 的 设置 ， 是 更 好 的 测试 集 。 


如 果 测 试 人 员 认 为 宪 盖 任意 两 个 变量 的 取 值 组 合 很 重要 ， 他 可 以 先 构造 
面 同业 务 的 测试 集 ， 然 后 将 其 作为 “种 子 ”， 利用 PICT 生 成 两 因 系 测试 
集 。 例 如 ， 命 令 “pict.exe model.txt /e:seedrows.txt /0:2” 所 生成 的 测试 用 例 
集 就 包含 种 子 文件 (seedrows.txt〉 所 指定 的 取 值 组 合 。 


问题 3 组 合 测 试 的 数学 模型 没有 描述 变量 之 间 的 约束 关系 


在 组 合 测试 的 数学 模型 中 ， 每 个 变量 的 取 值 是 相互 独立 的 ， 即 x ; 的 取 值 
不 会 影响 xj 的 取 值 。 但 是 ， 大 多 数 被 测 对 象 的 变量 之 间 存 在 约束 关系 。 
以 表 4-1 所 列 的 配置 参数 为 例 ， 当 变量 PLATFORM 的 取 值 是 x86 时 ， 变 
量 RAM 的 取 值 就 不 能 是 8GB 或 16GB， 因 为 x86 CPU 最 大 只 支持 4GB 内 
存 。 即 便 测 试 人 员 将 组 合 (PLATFORM: x86, RAM: 8GB) 作为 负面 测 
试用 例 ， 也 是 不 可 行 的 ， 因 为 x86 的 主板 根本 插入 不 了 8GB 的 内 存 。 


可 见 ， 如 果 不 考 虑 变量 之 间 的 约束 关系 ， 测 试 集 将 包含 大 量 的 无 效 测 试 
用 例 。 因 为 组 合 测试 工具 生成 的 每 一 条 测试 用 例 对 于 因素 履 站 都 是 必要 
的 ， 仅 仅 删 除 无 效 测 斌 用例， 会 导致 最 终 的 测试 集 不 能 实现 两 因 妹 或 多 
因 系 组 合 覆 兰 。 对 于 此 关 被 测 对 象 ， 测 试 人 员 应 该 明确 定义 变量 的 约束 
关系 ， 让 组 合 测 试 工具 根据 约束 来 生成 有 效 的 测试 集 。 


例如 ， 在 PICT 的 模型 文件 中 ， 加 入 如 下 的 约束 语句 ， 就 可 以 定义 变量 之 
间 的 约束 关系 。 






































IF [PLATFORM] = "x86" THEN [RAM] NOT IN ("8GB", "16GB"); 
IF [OS] = "Win8" THEN [IE] >= 10.0; 


SSS 


第 一 条 约束 是 ， 当 CPU 是 x86 时 ， 内 存 不 能 是 8GB 或 16GB。 第 二 条 约束 
是 ， 当 操作 系统 是 Windows 8 时 ，IE 的 版 本 号 要 大 于 或 等 于 10.0。 当 
PICT 读 取 模 型 文件 时 ， 它 会 解析 约束 规则 ， 并 将 其 应 用 于 测试 用 例 生成 
过 程 。 生 成 的 测试 集 既 满足 组 合 窗 新 标准 ， 又 不 包含 无 效 取 值 组 合 。 


在 大 多 数 情 况 下 ， 无 业务 知识 的 数学 模型 不 会 是 蜗 效 的 测试 模型 。 定 义 
约束 是 根据 产品 的 业务 模型 来 改进 组 合 测试 模型 。 测 试 人 员 需 要 仔细 分 
析 业 务 规划 ， 发 掘 出 应 该 加 入 组 合 测 试 模型 的 约束 ， 使 组 合 测 试 工具 有 
更 丰富 的 信息 来 处 理 输入 变量 。 


问题 4: 组合 训 试用 例 可 能 被 “ 卫 哨 ?语句 过 涯 
许多 软件 用 卫 哨 语句 来 * 过 滤 ? 无 效 的 输入 。 例 如 ， 在 如 下 代码 中 ，if 


语句 就 是 一 个 卫 哨 ， 它 检查 函数 的 输入 ， 一 旦 发 现 A<=1 就 退出 函数 
func(...) © 








int func(int A, int B, int C) 


if (A <= 1) return ERROR; 
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如 下 的 模型 文件 。 在 该 模型 中 ，A 的 取 值 是 0, 1, 2. 





利用 上 述 模型 ，PICT 所 生成 的 测试 用 例 集 包含 10 条 测试 用 例 。 





A B C 
1 2 0 
2 0 2 
0 1 0 
2 2 1 
0 0 1 
1 1 2 
2 0 0 
0 2 2 
1 0 1 
2 1 1 





在 这 10 条 测试 用 例 中 ， 有 6 条 测试 用 例 因 为 A<=1 会 被 if 语句 过 滤 掉 。 只 
有 4 条 测试 用 例 ， 能 够 执行 到 计 之 后 的 语句 。 这 意味 着 只 有 40% 的 B 和 C 
的 取 值 组 合 被 真正 地 覆盖 。 这 个 例子 表明 ， 如 果 没 有 考虑 卫 哨 语句 对 执 
行 流 的 影响 ， 测 试 集 将 不 能 达成 两 因素 或 多 因素 覆盖 的 目标 。 


面 对 此 类 问题 ， 测 试 人 员 要 仔细 阅读 规格 说 明 或 源 代码 ， 发 据 会 导致 执 
行 流 跳 转 的 “非法 " 取 值 。 他 可 以 将 非法 取 值 从 模型 中 排除 ， 将 变量 的 取 
什 因 于 正常 行 流 的 范围 例如 ， 对 于 函数 func ， 他 可 以 将 模型 文件 
定义 为 ; 











在 生成 测试 集 之 后 ， 再 加 入 一 条 的 测试 用 例 CA: 1，B: 1，C: 1) UA 
盖 “ 非 法 ” 取 值 。 原 模型 生成 的 测试 用 例 可 以 “通过 ” 卫 哨 语句 ， 履 盖 因 素 
。 C 的 两 两 取 值 组 合 ， 附 加 的 测试 用 例 可 以 覆盖 卫 哨 语句 的 “过 
滤 ” 功 能 。 


妨 一 种 方法 是 在 PICT 的 模型 中 用 特殊 符 写 “~ 标记 出 “非法 ” 取 值 。 例 
如 ， 在 如 下 模型 中 ， 参 数 A 的 取 值 1 被 标记 为 非法 。 











PICT 会 保证 万 有 有 效 值 的 取 值 组 合 都 会 被 覆盖 ， 此 外 任意 非法 值 扎 有 效 
值 的 组 合 也 会 被 窗 盖 。 以 上 模型 将 生成 如 下 测试 用 例 集 。 
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测试 用 例 集 ， 因 为 它 几乎 不 考虑 非法 值 与 有 效 值 的 组 合 。 如 果 只 是 从 规 








格 说 明 中 了 解 到 程序 可 能 存在 卫 哨 语句 ， 那 么 用 第 二 种 方法 可 以 生成 
更 “安全 ”的 测试 集 。 这 两 种 方法 都 说 明 测 试 人 员 需 要 利用 软件 的 实现 模 
人 
目标 。 

问题 5: 组 合 测 试 可 能 没有 提供 足够 的 测试 宪章 

在 软件 测试 过 程 中 ， 最 先 找到 的 缺陷 往往 处 于 程序 的 “主干 * 上 上， 上 典型 的 
执行 流 束 可 以 履 六 相 应 的 路 径 或 状态 ; 被 遗漏 的 缺陷 常常 位 于 程序 


的 “ 末 校 >?， 程 序 执行 需要 满足 特殊 条 件 才 能 者 曾 相应 的 语句 或 状态 。 这 
古 软件 测试 的 经 验 之 谈 ， 也 提示 两 因 系 组 合 测试 也 许 不 能 发 现 隐 藏 














在 “ 末 枝 ”中 的 缺陷 。 一 些 路 和 从 需 要 多 个 变量 的 特定 取 值 组 合 才 能 被 履 
盖 ， 然 而 两 因素 组 合 测试 不 能 保证 测试 集 可 以 畴 盖 这 些 组 合 。 因 此 ， 在 
测试 资源 允许 的 情况 下 ， 引 入 多 因素 组 合 攻 盖 有 可 能 进一步 提高 错误 发 
现 率 。 例 如 ， 在 命令 行 上 执行 “pict.exe model.txt /0:3”， 可 以 生成 三 因素 
测试 集 。 


然而 ， 并 不 是 所 有 的 变量 都 会 协同 工作 。 例 如 ， 在 如 下 函数 compute 
中 ， 输 入 变量 _x_1 和 _x_2 会 影响 输出 变量 _y_1， 输 入 变量 x_3 和 _x_4 会 
影响 输出 变量 y_2。 变 量 x_1 与 _x_2 协 同 工 作 ， 变 量 x_3 与 _x_4 协 同 工 
作 ， 但 是 (_x_1,_x_2) 和 (_x_3,_x_4) 之 间 并 没有 联系 。 因 此 ， 实 用 的 测 
试 策略 是 周密 测试 x_1 和 _x_2 的 取 值 组 合 、 以 及 _x_3 和 _x_4 的 取 值 组 
合 ， 简 单 测 试 x 1. x 2、_x 3 和 x_4 的 取 值 组 合 。 











void compute(int x1, int x2, int x3, int x4 int* y1, int* y2) 


*y1 = foo(x1, x2); 
*y2 = bar(x3, x4); 
} 








虽然 函数 compute 是 一 个 极度 简化 的 例子 ， 但 是 它 反 映 了 复 杀 产品 的 特 
征 : 它 拥 有 多 个 输入 变量 和 多 个 输出 变量 ， 一 个 输入 变量 不 会 影响 到 所 
有 的 输出 变量 ， 一 个 输出 变量 也 不 会 受 所 有 的 输入 变量 影响 。 测 试 人 员 
可 以 阅读 规格 说 明 ， 分 析 程 序 代 码 ， 咨 询 程序 员 ， 从 而 知晓 每 个 输出 变 
量 受 哪 些 输入 变量 影响 。 他 将 相互 协作 的 输入 变量 纳入 小 组 ， 高 强度 测 
试 小 组 内 部 的 变量 组 合 ， 低 强度 测试 路 小 组 的 变量 组 合 。 


对 于 PICT， 测 试 人 员 可 以 在 模型 文件 中 定义 子 模型 。 例 如 ， 他 在 模型 文 
件 中 增加 如 下 语句 ， 以 定义 两 个 子 模型 {PLATFORM, CPU, RAM, HDD} 
和 {OS, IE}。 


{ PLATFORM, CPU, RAM, HDD } @ 3 
{ OS, IE} @2 





然后 ， 他 用 命令 “pict.exe model.txt /0:1” 生 成 测试 集 。 该 测试 集 对 
PLATFORM、CPU、RAM 和 HDD 实 施 三 因素 组 合 窗 盖 ， 对 OS 和 IE 实 施 
WAAC mo 


这 个 例子 再 次 表明 ， 测 试 人 员 需 要 根据 软件 的 业务 规则 和 代码 实现 来 完 
善 组 合 测试 模型 。 合 理 的 子 模型 使 得 测试 人 员 可 以 严密 地 测试 相关 变 
量 的 取 值 组 合 ， 又 不 会 显著 提高 测试 集 的 规模 。 


问题 6: 全 组 合 测 试 可 能 是 更 好 的 测试 集 略 


组 合 测 试 的 初 训 是 减少 测试 用 例 的 数量 ， 使 测试 可 以 在 较 短 的 时 间 内 完 
成 。 随 着 硬件 性 能 的 发 展 ， 上 自动 化 测试 可 以 在 短 时 间 内 执行 成 干 上 万 的 
测 斌 用例。 而且， 云 计 算 技 术 允许 多 台 计 算 机 并 行 地 执行 计算 ， 从 而 进 

步 提 高 了 测试 执行 的 速度 。 这 使 得 测试 人 员 可 以 利用 软 硬 件 的 强大 性 
在 这 种 情况 下 ， 将 测试 模型 蔡 换 为 全 组 合 测 
试 可 能 更 好 。 


例如 ， 表 4-1 的 配置 测试 的 全 组 合 测 试 需要 432 条 测试 用 例 4 。 假 设 测 试 
人 员 用 虚拟 机 完成 配置 测试 ， 创 建 一 台 满 足 配 置 要 求 的 虚拟 机 需要 1.5 
小 时 ， 运 行 自动 化 功能 测试 需要 1.5 小 时 。 那 么 完成 432 个 配置 的 测试 ， 
需要 432x3 = 1296 小 时 。 如 果 测 试 人 员 辐 测试 实验 室 申 请 20 台 虚拟 机 ， 
完成 全 部 测试 需要 1296-=20 = 64.8 小 时 。 这 意味 着 他 在 周 五 下 午 4 点 提交 
测试 ， 周 一 上 午 9 点 就 可 以 查看 所 有 测 斌 结果。 可见， 合理 的 自动 化 测 
试 可 以 充分 利用 空闲 的 计算 资源 ， 让 测试 人 员 既 能 享用 愉快 的 周末 ， 又 
能 完成 繁重 的 测试 任务 。 


4 由 问题 3 可 知 ， 这 432 条 测试 用 例 包 含 一 些 “无 效 " 用 例 ， 实 际 可 执行 的 测试 用 例 数 要 小 于 432 
条 。 为 了 简化 讨论 ， 这 里 仍旧 使 用 432 条 测试 用 例 来 估算 测试 时 间 。 



















































































为 一 种 接近 全 组 合 测 试 的 方法 是 每 次 回归 测试 都 使 用 全 新 的 测试 集 。 有 
些 团 队 将 组 合 测 试用 例 集 加 入 回归 测试 集 ， 在 项 目 过 程 中 复 地 执行 。 这 
时 ， 不 妨 每 次 生成 新 的 组 合 测 试用 例 集 ， 一 方面 满足 两 因素 或 多 因素 履 
兰 的 和 要求， 妃 一 方面 扩大 测试 对 程序 状态 空间 的 履 兽 。 如 果 每 次 都 使 用 
相同 的 测 斌 用例， 测试 集 可 能 只 是 反复 执行 相同 的 路 径 ， 歼 凋 相 同 的 状 
态 空 间 ， 也 许 不 能 发 现 隐藏 的 缺陷 。 如 果 每 次 都 用 新 的 测试 用 例 ， 随 着 
回归 次 数 的 增长 ， 测 试 执行 可 以 执行 更 多 的 路 笃 ， 窗 盖 更 广大 的 状态 空 
间 ， 发 现 隐 藏 缺陷 的 概率 也 会 提高 。 

















在 PICT 中 ， 参 数 “/[:NJ” 为 测试 用 例 生 成 引入 随机 种 子 (N 是 作为 随机 种 
子 的 整数 ) ， 以 生成 不 同 的 测试 用 例 集 。 例 如 ， 如 下 命令 行 指令 用 当前 
日 期 作为 种 子 ， 生 成 测试 用 例 集 。 


set seed=%date:~4,2%%date:~7,2%%date:~10,4% 
pict.exe model.txt /r:%seed% 





第 一 条 语句 从 当前 日 期 中 获得 年 、 月 、 日 信息 ” ， 放 入 变量 seed 中 。 第 
二 条 语句 以 变量 seed 为 种 子 ， 生 成 测试 用 例 。 于 是 ， 测 试 集 的 具体 内 
容 随 日 期 六 化 ， 在 你 证 摧 因 素 履 次 的 前 手下 ， 证 渐 愉 着 了 更 多 的 程序 状 











5%date 的 格式 随 Windows 系 统 设置 而 变化 ， 该 语句 只 适用 于 特定 Windows 系 统 。 





行文 至 此 ， 本 市 已 经 讨论 了 实施 组 合 测试 的 6 个 问题 和 相应 的 解决 方 

法 。 从 中 不 难看 出 测试 建 模 对 于 高 效 软件 测试 的 重要 性 。 

。 通用 的 测试 技术 《如 组 合 测试 ) 往往 基于 “产品 中 立 ” 的 测试 模型 ， 
虽然 可 以 “广泛 ”应 用 ， 但 是 需要 测试 人 员 根据 产品 来 完善 其 测试 模 
型 ， 才 能 “有 效应 用 。 


。 完善 测试 模型 需要 参考 产品 的 业务 领域 ， 例 如 根据 领域 知识 抽取 恰 
当 的 变量 、 确 定 变 量 的 取 值 、 定 义 变量 之 间 的 约束 关系 等 。 


。 发 展 测试 模型 还 需要 参考 产品 的 代码 实现 ， 例 如 根据 < 卫 哨 ”语句 调 
整 变量 的 取 值 集合 、 对 变量 分 组 以 实施 子 模型 的 组 合 测试 等 。 


。 综合 运用 多 种 技术 和 模型 能 够 提高 测试 效率 ， 例 如 第 6 个 问题 的 解 
决 方法 就 综合 利用 了 组 合 测试 、 目 动 化 测试 、 随 机 测试 和 虚拟 化 拉 
术 。 








。 测试 建 模 是 一 个 演进 的 过 程 。 测 试 人 员 很 难 在 项 目 之 初 融 知晓 所 有 
细节 ， 所 以 测试 模型 的 初稿 往往 是 有 缺点 的 。 随 大 项 目的 发 展 ， 测 
试 模型 的 不 足 会 在 测试 碗 代 中 逐渐 暴露 。 负 责 任 的 测试 人 员 会 针对 
这 些 问题 ， 调 整 测试 模型 ， 让 它 “ 与 时 俱 进 ”。 


最 后 ， 我 向 读者 推荐 James Bach 和 Patrick J. Schroeder 的 文章 Pairwise 
Testing: A Best Practice That Isn't [Bach04b]。 这 篇 文章 不 但 深入 分 析 了 
组 合 测 试 ， 给 出 了 许多 很 好 的 建议 ， 还 展示 了 测试 专家 研究 测试 技术 的 
思路 和 方法 。 访 文 指出 职业 的 测试 人 员 应 该 运用 批判 性 思维 来 研究 他 所 
使 用 的 每 项 技术 ， 只 有 透彻 地 了 解 技术 的 优点 和 人 缺点， 才能 根据 语 境 合 
理 地 使 用 技术 。 


4.1.3 测试 建 模 的 基本 点 


上 节 讨 论 了 如 何 完善 组 合 测试 的 测试 模型 ， 来 解决 实施 组 合 测试 遇 到 的 
问题 。 从 中 不 难看 出 ， 合 理 的 测试 模型 可 以 准确 地 描述 产品 ， 使 测试 更 
有 和 针对 性 ， 且 避免 了 测试 遗漏 和 浪费 。 


为 了 获得 好 的 测试 模型 ， 测 试 人 员 需 要 从 多 个 角度 考察 产品 ， 重 要 的 切 
入 扩 包 括 业 务 领域 、 软 件 实 现 和 项 目 环 境 。 


。 业务 领域 : 测试 建 模 的 对 象 是 被 测 产 品 ， 而 构建 产品 的 使 命 是 解 
决 业务 问题 ， 因 此 恰当 的 模型 应 该 切合 产品 的 业务 领域 。 测 试 人 员 
可 以 研究 需求 文档 、 客 户 调 查 、 相 关 产 品 、 领 域 专著 等 资料 ， 也 可 
以 与 客户 代表 、 产 品 经 理 等 相关 人 员 讨 论 ， 从 而 获得 测试 建 模 的 必 


要 信息 。 


e 软件 实现 : 好 的 测试 模型 具有 很 强 的 针对 性 ， 能 够 清晰 地 摘 绘 出 
被 测 产品 的 特征 ， 这 要 求 测试 人 员 分 析 产 品 元 素 ， 了 解 代 人 码 实现 。 
具体 而 言 ， 测 试 人 员 可 以 参考 4.2.1 节 介绍 的 HTSM 之 “产品 元 素 ”， 
丛 结构、 功能、 数据、 接口、 平台、 操作 、 时 间 等 角度 分 析 软 件 实 
现 。 他 需要 学 习 产 品 的 系统 架构 、 代 码 结构 、 数 据 人 处理、 操作 接口 


等 实现 细 市 ， 还 需要 学 习 产 品 的 运行 环境 、 开 发 平台 等 背景 知识 。 


。 项目 环境 : 构建 测试 模型 的 目的 是 为 了 实施 更 好 的 测试 ， 好 的 测 
试 模型 不 一 定 复 杂 ， 但 一 定 实用 一 一 能 够 切合 当前 项 目 环境 ， 并 充 
分 利用 项 目 资源 。 为 此 ， 测 试 人 员 可 以 参考 HTSM 之 “项 目 环境 ”， 
从 开发 者 关系 、 测 试 小 组 、 测 试 设备 、 测 斌 工具、 项 目 进度 等 方面 
考察 测试 模型 的 可 行 性 。 例 如 ， 为 期 1 周 的 测试 和 为 期 4 周 的 测试 需 
要 不 同 的 测试 模型 。 前 者 的 测试 模型 较 简 单 ， 会 聚焦 于 高 价值 的 功 
能 和 高 风险 的 领域 ， 后 者 的 测试 模型 更 丰富 ， 侧 重 于 测试 集 略 的 多 
样 性 ， 并 窗 盖 更 多 的 产品 细节 。 






































在 研究 和 思考 的 过 程 中 ， 测 试 人 员 需 要 记录 测试 模型 。 一 方面 ， 测 试 建 
模 是 一 个 持续 的 过 程 ， 测 试 人 员 会 根据 产品 的 变化 来 调整 测试 模型 ， 记 
录 当 前 的 模型 为 模型 演化 提供 了 基础 。 另 一 方面 ， 测 试 模型 应 该 在 测试 
小 组 中 分 享 ， 让 更 多 的 人 检查 模型 、 提 供 意见 、 使 用 模型 能 令 它 更 好 地 
008 ne 0 


。 形式 化 模型 可 以 被 工具 软件 读 取 ， 以 自动 生成 测试 数据 或 执行 测 
试 。 例 如 ，PICT 的 模型 文件 所 记录 的 就 是 一 个 形式 化 模型 ，PICT 
可 以 根据 它 生成 测试 用 例 集 。 本 质 上 ，PICT 提 供 了 一 个 建 模 语言 ， 
测试 人 员 使 用 该 语言 可 以 定义 被 测 对 象 的 测试 模型 ， 让 人 和 计算 机 
都 可 以 理解 建 模 结果 。 与 PICT 相 似 ， 许 多 测试 工具 提供 了 测试 领域 
人 
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非 形式 化 模型 的 表现 形式 包括 自然 语言 表达 的 文字 、 列 表 、 草 图 
等 。 它 们 记录 了 测试 人 员 的 思考 ， 为 接 下 来 的 测试 设计 提供 信息 。 
例如 ， 图 3-3 的 功能 列表 就 是 PowerPoint 图 片 功 能 的 非 形 式 化 测试 模 
型 。 它 列举 了 图 片 的 主要 功能 ， 提 供 了 测试 履 盖 的 目标 ， 为 进一步 
的 测试 设计 建立 了 可 扩展 的 框架 。 


测试 建 模 是 一 个 研究 的 过 程 ， 测 试 模型 是 研究 的 成 果 。 不 过 ， 模 型 并 不 
是 最 终 的 目标 ， 它 只 是 辅助 测试 的 工具 ， 其 价值 只 取决 于 发 现 缺陷 的 效 
率 。 为 了 优化 在 模型 上 所 投入 的 资源 ， 测 试 人 员 应 该 让 实际 的 测试 需求 
来 推动 模型 的 发 展 。 可 行 的 策略 是 构建 一 个 简单 的 模型 ， 用 它 指导 测试 
设计 ， 并 根据 测试 反 便 来 改 进 它 。 在 测试 还 代 中 ， 模 开会 还 渐 成 长 ， 上 





























4.2 ”常用 测试 建 模 方 法 


随 痢 软件 测试 的 发 展 ， 测 试 建 模 方 法 层出不穷 ， 本 书 无 法 一 一 介绍 。 本 
节 将 讨论 几 个 第 用 的 测试 模型 ， 为 更 蜗 级 的 测试 模型 莫 定 基础 。 


4.2.1 ”启发 式 测试 策略 模型 


根据 产品 的 风险 设计 测试 是 一 种 常见 的 测试 设计 思路 。 在 复杂 的 现实 世 
界 ， 产 品 面临 的 风险 多 种 多 样 ， 只 有 全 面 考虑 、 周 密 测 试 才能 避免 风险 
骏 露 导致 的 严重 后 果 。 因 此 ， 测 试 人 员 需 要 一 个 相对 完整 、 可 以 定制 、 
容易 扩展 的 风险 列表 或 参考 模型 ， 来 帮助 他 们 发 现 产品 风险 。 局 发 式 测 
试 策略 模型 〈Heuristic Test Strategy Model, HTSM) 是 测试 专家 James 
Bach 提 出 的 一 个 结构 化 的 、 可 定制 的 参考 模型 ， 从 测试 技术 、 产 品 元 
素 、 项 目 过 程 、 质 量 标准 等 多 个 角度 局 发 测试 设计 [Bach12]。 


图 4-5 是 HTSM 的 概要 描述 ， 测 试 人 员 利 用 质量 标准 、 项 目 环境 、 产 品 元 
素 ， 指 导 测 试 技术 的 选择 与 应 用 ， 并 产生 观察 到 的 质量 。 











测试 技术 





观察 到 的 质量 


图 4-5 局 发 式 测试 策略 模型 

HTSM 有 具有 层次 结构 ， 其 顶层 元 素质 量 标准 、 项 目 环境 、 产 品 元 素 、 
测试 技术 ) 可 以 分 解 为 次 层 元 素 ， 而 次 层 元 素 可 进一步 分 解 为 第 三 层 元 
素 。 本 文 只 概要 介绍 次 层 元 素 ， 更 多 的 细节 请 参考 James Bach 的 文档 8 








| 6 http://www.satisfice.com/tools/htsm.pdf 。 


测试 技术 : 生成 测试 的 策略 。 有 效 地 选择 和 实施 测试 技术 ， 需 要 综合 
分 析 项 目 环 境 、 产 品 元 系 和 质量 标准 。 可 选 的 测试 技术 如 下 。 


。 功能 测试 : 测试 软件 的 能 

。 域 测试 : 测试 软件 所 处 理 的 数据 。 

。 压力 测试 : 用 极限 行为 和 数据 压迫 软件 。 
。 流 测试 : 测试 软件 的 操作 顺序 。 





。 人 情景 测试 ， 用 有 说 服 力 的 场景 来 测试 软件 。 

。 声 明 测试 ， 测试 需 求 规格 、 广 告 宣传 等 文档 的 声明 。 

。 用 户 测试 ， 邀请 用 户 参与 测试 。 

。 风 险 测 试 ， 猜测 软件 可 能 发 生 的 错误 ， 然 后 寻找 它 。 

。 自动 测试 用 工具 和 自动 化 技术 来 多 角度 地 检查 软件 。 
项 目 环境 : 资源、 约束 和 其 他 影响 测试 的 项 目 元 素 。 测 试 总 是 受到 项 
目 环境 的 约束 。 在 某 个 团队 运转 良好 的 策略 不 一 定 适合 另 一 个 相似 的 团 
队 ， 以 往 富有 成 效 的 方法 未 必 适 应 当前 的 项 目 。 有 经 验 的 测试 人 员 会 根 
据 当 前 语 境 ， 选 择 合适 的 测试 实践 。 项 目 环境 包括 如 下 几 个 方面 。 


。 (EM: 测试 人 员 和 其 服务 对 象 需 要 就 测试 人 员 的 任务 达成 一 致意 
见 。 


信息 : 测试 所 需 的 有 关 产 品 和 项 目 信 息 。 

开发 者 关系 : 如 何 与 开发 者 协作 以 加 速 开 友 。 
测试 团队 : 利用 团队 的 力量 文 持 测试 。 

设备 与 工具 : 可 利用 的 硬件 、 软 件 和 文档 等 资源 。 
进度 : 项 目 实 施 的 流程 。 

测试 条 目 : 测试 范围 和 重点。 

交付 品 : 测试 人 员 的 产 出 。 


产品 元 素 : 需要 测试 的 对 象 ， 包 括 如 下 几 个 方面 〈2.2.2 节 从 训 试 覆 兰 
的 角度 详细 讨论 了 产品 元 系 〉。 


。 结构 :产品 的 物理 元 素 ， 如 代码 、 人 硬件、 配置 文件 、 数 据 文件 等 。 


。 功能 : 产品 的 功能 。 
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数据 : 产品 所 操作 的 数据 。 

接口 : 产品 所 使 用 的 或 暴露 出 的 接口 。 

平台 : 产品 所 依赖 的 外 部 元 素 。 

操作 : 使 用 产品 的 方式 。 

时 间 : 影响 产品 的 时 间 因 素 。 

标准 : 产品 需要 考虑 的 质量 特性 ， 包 括 如 下 几 个 方面 。 
能 力 : 产品 能 合 完 成 期 望 的 功能 ? 
ETE: 产品 能 人 否 在 期 望 的 条 件 下 稳定 的 工作 ? 
可 用 性 : 真实 用 户 能 否 顺 利 地 使 用 产品 ? 





魅力 :产品 是 否 光 彩 和 夺目 ? 
安全 性 : 产品 能 舍 抵 御 恶 意 攻 击 ? 


可 伸缩 性 : 产品 能 个 自如 地 使 用 软 硬 件 资源 ? 





性 能 ， 产 品 的 速度 和 响应 如 何 ? 
可 安装 性 ;产品 是 否 易于 安装 ? 


人 
? 











上 介绍 可 知 ，HTSM 由 一 组 指导 性 词语 组 成 ， 它 们 构成 一 个 概念 框 
让 测试 人 员 从 高 层 抽 象 到 底层 细节 对 产品 和 测试 进行 思考 。 这 些 指 
词汇 是 测试 的 指南 ， 其 作用 不 是 教导 如 何 具体 测试 ， 而 是 启发 测试 
的 思维 ， 发 掘 测试 对 象 和 测试 策略 。 








图 4-6 摘 录 自 James Bach 的 测试 培训 教材 [Bach11]， 体 现 了 HTSM 对 于 测 


试 设计 的 意义 。 


。 测试 设计 以 风险 驱动 。 测 试 人 员 分 析 质 量 标准 、 项 目 环 境 和 产品 元 
素 中 的 风险 ， 设 计 有 针对 性 的 测试 策略 。 


在 测试 设计 时 ， 质 量 标准 局 发 测试 先知 ， 项 目 环境 局 发 测试 过 程 ， 
产品 元 素 忆 发 测试 履 盖 ， 观 察 到 的 质量 局 发 测试 报告 。 


对 于 测试 ，HTSM 强 调 测 试 策略 的 多 样 性 ， 平 衡 代价 和 收益 ， 利 用 
启发 式 方法 充分 发 挥 测试 人 员 的 技能 。 





风险 







测试 过 程 


风险 风险 



















测试 先知 测试 技术 测试 覆盖 
5 多 样 性 
质量 标准 平衡 代价 和 收益 
技能 
启发 式 方法 


测试 报告 
观察 到 的 质量 
图 4-6 HTSM 中 的 测试 先知 、 测 试 过 程 、 测 试 覆 盖 和 测试 报告 
因为 HTSM 是 一 个 框架 ， 测试 人 员 可 以 用 它 对 测试 方法 分 类 ， 从 而 更 好 
地 理解 这 些 测试 方法 的 着 眼 点 。 例 如 ， 表 4-4 记 录 了 一 些 测试 文档 在 
HTSM 中 的 位 置 ， 对 于 识别 这 些 文档 的 作用 和 关系 有 一 定 帮助 。 
K 4-4 测试 文档 在 HTISM 中 的 概念 








测试 文档 在 HTSM 中 的 概念 


HTSM > 产品 元 素 ”结构 
HTSM =| 产品 元 素 ”功能 























Google ACC 之 部 件 





Google ACC 之 能 HTSM — 质量 标准 -f 














HTSM = 产品 元 素 > 功能 
HTSM > 测试 技术 ”功能 测试 





测试 想法 列表 HTSM > 测试 技术 





质量 属性 列表 HTSM > 质量 标准 


[ el á an 


HTSM | 项目 环境 > S 
HTSM — 观察 到 的 质量 


















































在 定制 化 之 前 ，HTSM 对 测试 人 员 的 帮助 很 小 ， 因 为 此 时 的 HTSM 
是 “James Bach 的 模型 >， 而 不 是 符合 当前 语 境 的 模型 。HTSM 是 通用 的 
模型 ， 虽 然 能 够 普遍 应 用 ， 但 是 不 能 快速 、 高 效 地 指导 具体 的 测试 工 
作 。 测 试 人 员 需 要 将 其 “本 地 化 >， 才能 发 挥 其 威力 。 


Cem Kaner 用 思维 导 图 7 定制 自己 的 HTSM [Kaner11]。 如 图 4-7 所 示 ， 他 
将 HISM 作 为 中 心 ， 将 质量 标准 、 测 试 技术 、 项 目 环境 、 产 品 元 素 作 为 
主干 。 





”测试 专家 Michael Larsen 在 XMind.net 上 提供 了 他 制作 的 HTSM 思 维 导 图 
Chttp://www.xmind.net/share/mkltesthead/ )， 为 测试 人 员 制 作 自己 的 HTSM 提 供 了 很 好 的 范 
例 。 














图 4-7 思维 导 图 形式 的 HTSM 
在 分 支 上 ，Cem Kaner 添 加 了 他 觉得 重要 的 节点 。 例 如 ， 在 图 4-8 中 ， 他 


在 产品 元 系 下 增加 了 优点 节点 和 时 间 节 点 (其 中 时 间 市 点 来 自 测 试 专家 
Michael Bolton 的 建议 ) ， 以 满足 他 的 工作 需要 。 











时 间 (来 自 Bolton) 
图 4-8 ”通过 增加 节点 来 定制 HTSM 
恰 如 Cem Kaner 所 说 , “大 多 数 严肃 对 待 此 模型 的 人 都 会 定制 它 以 符合 自 
己 的 需要 ”， 测 试 人 员 应 该 修改 HTSM， 以 获得 符合 项 目 语 境 的 模型 。 
定制 HTSM 是 理解 并 掌握 HTSM 的 过 程 。 与 大 多 数 方法 一 样 ， 测 试 人 员 
需要 修改 它 ， 加 入 自己 的 风格 和 元 素 ， 才 能 真正 掌握 它 。 以 下 是 一 些 常 
见 的 修改 手段 。 


。 增加 节点 : 增加 与 当前 项 目 相关 的 测试 技术 、 测 试想 法 、 测 试 对 
象 和 任何 测试 人 员 认 为 有 价值 的 元 素 。 


o HIRTA: 忽略 一 些 与 项 目 或 任务 无 关 的 元 素 。 


。 增加 标记 、 注 释 、 链 接 等 元 素 : 标记 可 以 突显 重要 的 元 素 ， 注 释 
可 以 增加 更 多 的 细节 ， 链 接 可 以 指向 更 详细 的 信息 源 。 


定制 HISM 也 是 应 用 HTSM 的 过 程 。 测 试 人 员 遵 循 HTSM 的 结构 ， 深 入 

















地 思考 产品 、 项 目 与 测试 ， 添 加 自己 的 想法 、 评 论 、 标 记 和 启发 式 问 
题 。 这 本 里 就 是 极 好 的 测试 学 习 过 程 。 作 为 学 习 的 结果 ， 定 制 后 的 
HTSM 为 测试 设计 提供 了 坚实 的 基础 。 在 测试 过 程 中 ， 测 试 人 员 会 接触 
新 信息 ， 学 习 新 知识 。 他 会 持续 地 将 新 知识 补充 到 HTSM 中 ， 以 欠 代 地 
优化 测试 模型 。 从 这 个 角度 ，HTSM 既 是 测试 想法 的 源头 ， 又 是 测试 过 
程 的 产 出 。 在 测试 设计 时 ， 测 试 人 员 可 以 逐个 检查 HISM 中 的 元 素 〈 指 
导 性 词语 ) ， 阅 读 相 关 标 记 、 注 释 和 链接 ， 以 启发 测试 思路 。 他 可 以 自 
问 : 


。 该 元 素 与 当前 测试 任务 相关 吗 ? 

。 针对 该 元 素 ， 产 品 有 什么 风险 ? 可 能 会 有 什么 缺陷 ? 

。 通过 什么 测试 可 以 发 现 这 些 缺 陷 ? 

。 依据 当前 的 进度 和 资源 ， 如 何 实施 这 些 测试 ? 
另 一 种 更 有 威力 的 方法 是 综合 HTSM 中 的 多 个 元 素 ， 开 发 测试 策略 。 当 
程序 员 用 单元 测试 检查 了 组 件 ， 测 试 人 员 需 要 在 系统 层面 检查 产品 。 此 
时 ， 产 品 的 缺陷 往往 存在 于 组 件 的 交互 和 复杂 的 流程 。 综 合 产 品 的 多 个 
方面 ， 开 发 多 样 的 测试 才能 够 更 好 地 体现 测试 人 员 的 价值 。 一 些 有 帮助 
的 启发 式 问 题 包 括 以 下 几 点 。 
该 元 素 与 哪些 元 素 相 关 ? 
元 素 的 组 合 有 没有 揭示 出 新 的 风险 ? 
如 何 设计 测试 ， 以 同时 测试 这 些 元 素 ? 
能 人 否 让 来 自 元 素 A 的 信息 帮助 元 素 B 的 测试 ? 
通过 思考 这 些 问 题 ， 测 试 人 员 可 以 设计 出 强 有 力 的 测试 策略 。 例 如 ， 
3.2.4 市 给 出 了 一 个 复杂 的 情景 测试 ， 用 于 回归 测试 PowerPoint 的 图 片 功 
能 。 为 了 方便 读者 阅读 ， 在 此 将 该 测试 复述 如 下 。 
1. 新 建 一 个 PowerPoint 文 档 。 
2. 回 文档 中 插入 图 片 。 











。 iii WIA SCH A rg aK 

。 Am MAHAR RY. 

。 HMR BUR ALI AAA N 

3. 操作 文档 中 的 图 片 。 

。 Aua AA LA” FINA are. 

。 用 一 个 命令 修改 图 片 。 

© 用 多 个 命令 修改 图 片 。 

。 保持 一 些 图 片 不 被 修改 。 
4. 应 用 文档 中 的 图 片 。 

。 将 图 片 与 其 他 元 系 组 合 使 用 。 

。 履 盖 文本 框 、 形 状 、SmartArt、 图 表 、 日 期 与 时 间 等 元 素 。 
5. 将 文档 中 的 元 素 导 出 为 图 片 。 

Be a ee Ra ea ernie per eater eee ee 

















。 禾 关 所 有 文 持 的 图 片 格式 。 

。 和 窗 盖 相关 的 用 户 界面 命令 ; 上 下 文 菜 单 ( 即 右键 弹出 菜单 )、 
Backstage (AE OP >F” o“ 改变 文件 类 型 *) 、 复 制 并 粘贴 
到 画图 板 。 

。 和 窗 盖 相关 的 VBA 对 象 模型 。 

6. 打印 该 文档 。 


。 打印 到 黑白 打印 机 。 














。 打印 到 彩色 打印 机 。 
。 打印 到 PDF 文档 。 
。 打印 到 XPS 文 档 。 
7. 保存 该 文档 并 重新 打开 。 
。 男 存 为 所 有 支持 的 格式 。 
。 用 PowerPoint 打 开 生 成 的 文档 。 
。 用 旧版 本 PowerPoint 打 开 生 成 的 文档 。 


分 析 以 上 测试 步 又 ， 不 难看 出 该 测试 涵盖 了 “HTSM > 产品 元 素 ” 分 文 的 
所 有 元 系 。 


。 结构 : 测试 覆盖 了 位 于 powerpnt.exe (PowerPoint 的 可 执行 程 
FR) 、mso.dll (提供 图 上 厂 功 能 的 动态 链接 库 ) 等 文件 的 代码 。 


。 功能 : 测试 覆盖 了 创建 文件 、 导 入 图 片 、 修 改 图 片 、 应 用 图 片 
ued 与 其 他 元 素 组 合 使 用 ) 、 导 出 图 片 、 打 印 文件 、 读 写 文件 
等 了 

。 数据 : 测试 覆盖 了 不 同 的 导入 图 片 类 型 、 导 入 图 片 尺 寸 、 导 出 图 
片 类 型 。 此 外 ， 使 用 “图 片 工 具 ” 的 命令 修改 图 片 也 产生 了 新 的 图 片 
数据 。 

。 接口 : 测试 覆盖 了 用 户 界 面 和 编程 接口 (VBA 对 象 模型 ) 。 


。 平台 : 测试 覆盖 率 多 种 打印 机 类 型 ， 包 括 彩 色 打 印 机 、 黑 白 打 印 
机 、 虚 拟 打 印 机 (PDF 和 XPS)。 


。 测试 用 不 同 的 命令 修改 图 片 ， 用 不 同 的 命令 序列 修改 图 





。 时间 : 测试 覆盖 了 插入 日 期 与 时 间 、 打 印 日 期 与 时 间 、 读 写 文件 
中 的 日 期 与 时 间 。 


由 这 个 例子 不 难看 出 ， 构 建 模型 是 简化 和 聚焦 的 过 程 ， 应 用 模型 则 是 扩 
展 和 发 散 的 过 程 。 


。 在 创建 模型 时 ， 测 试 人 员 将 复杂 的 项 目 和 软件 抽象 为 相对 简单 的 元 
素 和 关联 ， 将 注意 力 集中 在 他 认为 重要 的 因素 上 ， 而 省 略 其 他 细 
节 。 一 个 精炼 的 模型 易于 理解 、 易 于 应 用 ， 而 一 个 过 于 庞杂 的 模型 
则 让 人 抓 不 到 重点 ， 反 而 不 利于 测试 实战 。 


在 使 用 模型 时 ， 测 试 人 员 用 模型 激发 测试 灵感 ， 通 过 友 散 思维 构思 
出 多 种 多 样 的 测试 设计 。 模 型 是 知识 和 经 验 的 浓缩 ， 其 简要 的 形式 
征 思考 的 起 点 ， 而 不 是 思考 的 边界 。 测 试 人 员 需 要 充分 利用 模型 组 
会 的 知识 去 产生 尺 可 能 多 的 测试 想法 ， 以 扩大 测试 履 盖 。 


除了 综合 HTSM 中 一 个 分 支 的 元 素 ， 测 试 人 员 还 可 以 综合 不 同 分 支 的 元 
素 。 例 如 Google ACC 模 型 就 履 辣 了 多 个 分 文 的 元 素 : 属性 对 应 “HTSM 
质量 标准 ,魅力 ”， 部件 对 应 “HTSM > 产品 元 素 。 结构 ”和 “HTSM 
产品 元 素 = 功能 ”能力 对 应 “HTSM - 质量 标准 — 能 力 ”。 用 多 个 
角度 考察 软件 ， 能 够 开发 出 强力 测试 策略 ， 达 到 事半功倍 的 效果 。 


总 之 ，HTSM 是 一 个 由 测试 指导 词组 成 的 测试 模型 ， 能 够 在 整个 测试 过 
程 提供 帮助 。 在 制订 测试 计划 初稿 时 ， 它 可 以 帮助 测试 人 员 完 整地 思考 
产品 ， 从 而 产生 系统 性 的 测试 计划 。 在 测试 过 程 中 ， 它 可 以 帮助 测试 人 
员 组 合 测试 想法 、 深 入 探索 产品 ， 以 开发 出 强 有 力 的 测试 策略 。 在 回归 
测试 中 ， 它 可 以 帮助 测试 人 员 确 定 测试 范围 ， 制 定 测试 方案 。 


4.2.2 ”输入 与 输出 模型 


输入 与 输出 模型 《简称 IO 模型 ) 是 最 基本 的 测试 模型 ， 它 将 被 测 对 象 
(功能 、 模 块 、 系 统 等 ) 视 为 一 个 整体 ， 分 析 并 列举 该 对 象 的 输入 变量 
和 输出 变量 。 在 大 多 数 测试 中 ， 测 试 人 员 都 会 有 意 或 无 意 地 使 用 IO 模 
型 ， 因 为 它 反 映 了 测试 的 基本 需求 :掌握 输入 变量 可 以 控制 或 影响 被 测 
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图 4-9 是 Cem Kaner 和 Doug Hoffman 描 绘 的 被 测 系统 的 输入 和 输出 
[Kaner08c]， 体 现 了 构建 相对 完整 的 IO 模型 需要 考虑 多 个 因素 。 






系统 状态 


有 意 的 输入 
配置 与 系统 资源 


来 自 协作 的 进程 、 客 户 
端 或 服务 器 的 输入 
图 4-9 被 测 系统 的 输入 与 输出 


在 输入 方面 ， 值 得 考虑 的 因素 包括 以 下 几 操 。 


° ee 
I 输入 。 


意 的 输入 : 用 户 无 意 间 产生 的 输入 。 对 此 ， 测 试 专家 Jonathan 
Kohl 分 至 过 一 个 故事 区 ohl12]。 某 个 平板 电脑 上 的 软件 在 测试 时 很 
稳定 ， 但 在 演示 时 总 是 出 错 。 经 过 反复 测试 ，Kohl 及 现 了 错误 原 
办 。 演 示 时 ， 第 一 位 演示 者 会 将 平板 递 给 第 二 位 演示 者 。 在 交接 的 
瞬间 ， 两 个 人 都 握 看 平板 电脑 ， 这 导致 屏 蓝 上 产生 多 个 触 点 信号 ， 
而 且 移 动 所 产生 的 惯性 使 加 速 感应 器 发 出 信号 。 该 软件 不 能 很 好 地 
处 理 多 个 并 发 的 信号 ， 于 是 出 错 。 该 案例 说 明 ， 测 试 人 员 需 要 仔细 
观察 他 人 和 上 自己 的 行为 ， 发 现 认 知 的 盲点 ， 才 能 找到 一 些 被 忽视 的 
重要 和 输入。 


程序 状态 : 程序 自 壬 的 状态 ， 通 常 包含 内 存 中 的 数据 和 程序 依赖 
的 外 部 数据 。 例 如 ， 许 多 Web 应 用 会 从 数据 库 中 加 载 数 据 ， 也 会 把 
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被 监控 的 输出 


对 相连 设备 和 系统 资源 
的 影响 


发 给 协作 的 进程 、 客 户 
端 或 服务 器 的 输出 


——> 被 测 系 统 m 

























系统 状态 : 程序 所 依赖 的 运行 平台 的 状态 。 例 如 ， 当 用 户 切 换 
Windows 8 应 用 时 ， 操 作 系统 会 癌 被 换 出 的 应 用 发 出 “ 挂 起 ?事件 ， 


回 换 入 的 应 用 发 出 “恢复 ”事件 。 对 于 一 球 应 用 而 言 ， 它 要 快速 啊 
应 “ 挂 起 ”事件 ， 在 系统 规定 的 5 秒 内 保存 必要 的 自 里 状态 ， 它 还 要 
正确 啊 应 “恢复 ”事件 ， 来 加 载 已 保存 的 状态 ， 提 供 流畅 的 用 尸体 
验 。 对 此 ， 测 试 人 员 应 该 构造 多 个 “ 挂 起 ”和 “恢复 ”事件 的 序列 ， 以 
检查 软件 的 相关 功能 。 


配置 与 系统 资源 : 影响 软件 行为 的 配置 和 平台 资源 。 例 如 ， 软 件 
执行 某 个 操作 时 需要 大 量 的 内 存 。 在 一 台 4GB 内 存 的 机 器 上 ， 该 操 
作 较 容易 失败 ， 在 一 台 16GB 内 存 的 机 需 上 ， 该 操作 融 不 容易 失 
败 。 然 而 ， 内 存 资 源 被 同一 台 计 算 机 上 的 进程 所 共享 。 如 宁 其 他 进 
程 占据 了 大 部 分 内 存 ， 该 操作 仍旧 会 失败 。 


来 目 协作 的 进程 、 客 户 端 或 服务 器 的 输入 。 例 如 ， 对 于 必 应 词 
典 ， 来 目 必 应 服务 需 的 单词 解释 束 是 很 重要 的 输入 数据 。 








在 输出 方面 ， 值 得 考虑 的 因素 包括 以 下 几 操 。 


被 监控 的 输出 : 被 用 户 观 穴 到 的 软件 输出 。 


未 被 监控 的 输出 : 没有 被 监控 或 没有 被 观察 到 的 输出 。 例 如 ， 必 

应 词典 可 以 将 一 个 单词 “添加 到 生词 本 ， 该 操作 会 将 一 条 记录 写 入 

一 个 本 地 的 数据 库 。 对 于 不 了 解 实现 细节 的 用 户 或 测试 人 员 ， 该 输 

出 几乎 是 “不 可 见 ?” 的 。 如 采 测 试 人 员 发 现 了 该 输出 变量 ， 他 很 容易 

ae er ree rea ea i enna 
等 情况 。 


程序 状态 : 程序 目 身 的 状态 ， 通 党 包含 内 存 中 的 数据 和 程序 依赖 
的 外 部 数据 。 例 如 ，Web 应 用 会 将 用 户 提 交 的 数据 写 入 数据 库 。 测 
试 人 员 需 要 检查 其 输出 的 数据 是 否 正 确 、 是 否 被 正确 地 写 入 数据 
库 。 如 有 果 所 提 及 的 数据 包含 错误 其 至 恶意 代码 ， 训 试 人 员 要 检查 
Web 应 用 不 会 写 入 错误 数据 或 破坏 数据 库 。 


系统 状态 : 软件 运行 会 修改 运行 平台 的 状态 ， 这 可 能 对 平台 和 平 

台 之 上 的 其 他 进程 产生 影响 。 例 如 ， 软 件 为 了 完成 计算 会 临时 性 地 
0 

败 。 


对 相连 设备 和 系统 资源 的 影响 。 我 开发 过 一 个 测试 程序 ， 它 整 晚 

















运行 测试 用 例 。 部 普 后 的 隅 天 ， 我 发 现 运 行 该 测试 程序 的 计算 机 失 
去 啊 应 。 重 局 机 器 后 ， 我 对 测试 程序 进行 了 调试 ， 发 现 它 存在 一 个 
内 存 泄漏 的 错误 。 短 时 间 运 行 该 程序 ， 不 会 产生 严重 的 后 果 ， 但 是 
整 晚 运 行 会 耗 尽 计算 机 的 可 用 内 存 ， 导 致 计算 机 失去 啊 应 。 


。 发 给 协作 的 进程 、 客 户 端 或 服务 器 的 输出 。 例 如 ， 必 应 词典 在 接 
受用 户 输入 的 单词 后 ， 会 构造 一 个 HTTP 请求， 将 它 发 送 给 必 应 服 
务 嚣 。 该 HTTP 请 求 可 视 为 它 对 用 户 输 入 的 输出 ， 测 试 人 员 需 要 检 
查 该 输出 是 否 正确 、 构 造 并 发 送 请 求 的 性 能 是 否 达 到 预期 等 内 容 。 


由 以 上 讨论 可 知 ， 为 了 建立 完整 的 IO 模型 ， 测 试 人 员 需 要 从 多 个 角度 考 
察 被 测 对 象 和 相关 系统 。 为 此 ， 他 可 以 研究 项 目 文档 ， 咨 询 产 品 经 理 ， 
请 教程 序 员 ， 并 通过 测试 来 建立 IO 模型 。 测 试 实际 的 产品 ， 获 取 第 一 手 
的 资料 ， 很 可 能 发 现 一 些 其 他 渠道 不 能 获得 的 信息 。 


3.2.13 节 介绍 了 基于 测 程 的 测试 管理 (Session-Based Test Management, 
SBTM) 。 许 多 测试 小 组 并 不 使 用 SBTM 组 织 测试 活动 ， 但 这 并 不 妨碍 
测试 人 员 用 测 程 来 管理 自己 的 时 间 。 在 SBTM 中 ， 测 程 有 4 个 特点 : E 
题 、 时 间 盒 、 可 评审 的 结果 和 简报 [Bach04al]。 当 测试 人 员 上 自己 运用 测 程 
Et 于 是 主题 、 时 间 盒 和 可 评审 的 结果 是 他 考虑 的 




















。 主题 是 一 个 具体 的 测试 任务 ， 它 可 以 在 90 分 钟 的 时 间 盒 内 完成 ， 并 
提供 有 价值 的 结果 。 一 个 值得 参考 的 主题 模板 是 : “ERR CA 
W) ， 探 索 (特定 对 象 )， 以 求 友 现 (信息 ) ” [Hendrickson13]. 
对 于 构建 I1O 模 型 ， 主 题 可 以 是 “利用 Fiddler 等 网 络 工 具 ， 分 析 必 应 
词典 与 服务 器 的 通信 ， 以 了 解 必 应 词典 与 服务 器 的 输入 输出 关 
A”. “利用 Process Monitor 等 调试 工具 ， 探 索 必 应 词典 ， 以 了 解 它 
对 操作 系统 的 读 写 操作 ”等 。 


时 间 盒 是 一 段 不 受 打扰 的 测试 时 间 ， 一 般 为 60~120 分 钟 。 测 试 人 员 
可 以 根据 主题 确定 合适 的 时 长 。 在 此 期 间 ， 测 试 人 员 专 注 于 工作 ， 
不 进行 与 测 程 无 关 的 活动 。 


可 评审 的 结果 是 测 程 的 产 出 。 对 于 构建 1O 模 型 ， 测 程 的 产 出 就 是 被 
测 对 象 的 IO 模 型 ， 它 可 以 是 一 份 列表 ， 记 录 了 所 友 现 的 输入 变量 和 
输出 变量 。 测 试 人 员 可 以 将 IO 模型 记 入 测试 笔记 ， 为 今后 的 测试 提 
供 参考 ， 也 可 以 将 它 分 享 给 测试 小 组 ， 使 知识 得 以 传播 。 








面 对 一 个 复杂 的 被 测 对 象 ， 测 试 人 员 可 以 安排 一 个 测 程 去 产生 它 的 IO 模 
型 。 如 果 测 试 对 象 非常 复杂 ， 他 可 以 安排 一 组 测 程 去 生成 其 IO 模型 的 不 
同 部 分 ， 最 终 获 得 完整 的 模型 。 此 类 测 程 通常 使 用 一 些 漫游 测试 方法 
(漫游 测试 将 在 5.4 节 讨论 ) ， 来 探索 软件 的 各 个 方面 。 


测 程 通常 要 使 用 一 些 软件 工具 。 由 图 4-9 所 列 的 输入 和 输出 因素 可 知 ， 
构建 IO 模 型 需要 分 析 软 件 状态 、 它 与 操作 系统 的 交互 、 它 与 其 他 软件 和 
服务 的 交互 。 不 使 用 工具 去 查看 软件 和 交互 的 内 部 细节 ， 很 难 实施 完整 
的 分 析 。 在 Windows 平 台 上 ， 我 常 使 用 表 4-5 所 列 的 软件 工具 。 


表 4-5 Windows 平 台 的 常用 测试 分 析 工 具 














Windbg 可 以 调试 Windows 应 用 和 Windows 操 作 系 统 。 我 常 使 用 它 观察 
原生 程序 和 托管 程序 的 状态 ? 




















Process Explorer 可 以 提供 任意 进程 的 详细 信息 ， 包 括 程序 路 径 、 命 令 行 
参数 、 性 能 指标 (CPU. AZ. IO. GPU. .NET) 、 和 句柄、 模块 、 线 
程 和 环境 变量 等 











Process Monitor 可 以 监视 并 记录 一 组 进程 对 注册 表 、 文 件 系 统 和 网 络 的 
访问 。Process Explorer 提 供 了 进程 的 当前 状态 ，Process Monitor 则 提供 
了 进程 一 段 时 间 的 运行 轨迹 ， 综 合 使 用 可 以 了 解 进程 与 进程 、 进 程 与 
操作 系统 之 间 的 互动 























Fiddle!3 。 |iddler 是 一 个 Web 调 试 代理 ， 能 够 记录 并 实时 修改 计算 机 与 网 络 服务 器 
之 间 的 HTTP(S) 通 信 。 我 常 使 用 它 观察 软件 与 服务 器 的 交互 























Windows Windows Performance Toolkit 是 Windows 8 SDK 中 的 性 能 分 析 工 具 ， 可 
Performance | 以 详细 地 记录 一 组 进程 的 性 能 指标 、 调 用 栈 、 调 用 耗 时 等 信息 ， 对 于 
Toolkit!4 EEPE BERETA) Hoh, PERE GHEVE AIA Boh 1B HB a 
































SOI ee SQL Server Management Studio 是 SQL Server 数 据 库 的 管理 工具 。 我 常 


Management | 使 用 它 查看 被 测 应 用 的 数据 库 ， 以 理解 数据 组 织 方 式 和 数据 状态 























http://msdn.microsoft.com/en-us/windows/hardware/gg463009.aspx 。 


9 关于 Windbg 的 更 多 信息 可 以 参考 Inside Windows Debugging 
(http://book.douban.com/subject/10575139/ ) 、《Windows 高 级 调试 》 
(http://book.douban.com/subject/3781532/ ) 、《.NET 高 级 调试 》 
Chttp://book.douban.com/subject/5346548/ ) 和 《Windows 用 户 态 程序 高 效 排 错 》 
Chttp://www.cnblogs.com/lixiong/archive/2010/02/11/1667516.html ) 。 





10 http://technet.microsoft.com/en-us/sysinternals/bb896653.aspx 。 


11 http://technet.microsoft.com/en-us/sysinternals/bb896645.aspx 。 











12 关于 Process Explorer 和 Process Monitor 的 更 多 信息 可 以 参考 工具 作者 Mark Russinovich 所 著 的 
Windows Sysinternals Administrator 's Reference (http://book.douban.com/subject/3794381/ ) 。 





13 http://www.fiddler2.com/fiddler2/ 。 
14 hittp://msdn.microsoft.com/en-us/windows/desktop/hh852363.aspx 。 


15 Inside Windows Debugging http://book.douban.com/subject/10575139/ ) 详细 介绍 了 Windows 
Performance Toolkit 的 前 身 xperf， 对 于 理解 Windows Performance Toolkit 也 很 有 帮助 。 




















16 http://www.microsoft.com/sqlserver/en/us/default.aspx 。 


在 测 程 中 ， 测 试 人 员 可 以 参考 HTSM 的 “产品 元 素 ”， 从 结构 、 功 能 、 数 
据 、 接 口 、 平 台 、 操 作 、 时 间 等 多 方面 来 发 掘 变量 。 


。 结构 : 搜索 软件 所 使 用 的 文件 。 例 如 ， 使 用 Process Explorer 但 看 软 
ee a 使 用 Process Monitor 查 看 软件 曾经 访问 过 
哪些 文件 。 


。 功能 : 避 历 用 户 界面 ， 搜 索 隐藏 的 功能 ， 分 析 功 能 统合 的 变量 。 


。 数据 : 检查 软件 可 以 接纳 、 拥 有 、 处 理 、 输 出 哪些 数据 ， 壬 试 不 
同 的 数据 类 型 和 数据 范围 。 例 如 ， 使 用 Fiddler 人 查看 软件 与 其 他 软件 
的 通信 数据 ， 使 用 SQL Server Management Studio 查 看 软件 对 数据 库 
Nie 5 





。 接口 : 发 掘 软件 提供 的 接口 和 软件 使 用 的 接口 。 例 如 ， 有 些 软件 
会 注册 一 些 操作 系统 事件 的 处 理 函 数 ， 当 操作 系统 触及 事件 时 ， 相 
应 的 处 理 函 数 会 被 执行 。 测 试 人 员 要 发 现 这 些 事件 和 处 理 函 数 。 


平台 : 探索 影响 软件 的 外 部 元 素 ， 包 括 操作 系统 、 操 作 系统 上 的 
其 他 进程 (例如 网 络 防火 墙 可 能 会 影响 网 络 程序 的 行为 )、 与 软件 
协作 的 其 他 服务 等 。 


操作 : 检查 不 同 的 操作 步骤 、 使 用 方法 、 配 置 参数 是 否 产生 了 不 
ZAR. BHP REHAR ACHE PA CHEAT ZR 


时 间 : 搜索 与 时 间 相 关 的 变量 。 


o 搜索 由 时 间 点 触发 的 事件 。 例 如 ， 用 户 在 智能 手机 上 设置 了 
间 钟 提醒 。 在 预 设 的 时 间 点 ， 手 机 操作 系统 会 弹出 提示 ， 该 所 
示 对 于 当前 通话 或 当前 应 用 有 何 影 响 ? 


搜索 由 时 间 段 或 时 限 触发 的 事件 。 常 见 的 例子 是 “超时 ”设置 
会 中 断 当 前 处 理 的 业务 。 


搜索 周期 性 的 事件 。 例 如 每 天 、 每 月 、 每 年 会 执行 的 操作 。 
考虑 这 些 操作 是 否 会 导致 意外 的 情况 ， 例 如 一 些 财会 软件 会 在 
每 日 零 时 结算 前 一 天 的 业务 。 如 果 某 项 业务 的 处 理 跨越 零 时 ， 


会 不 会 产生 问题 ? 


检查 是 人 否 存在 路 时 区 的 业务 ， 考 虑 这 些 业务 有 哪些 关键 变量 
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考虑 用 户 和 其 他 软件 的 输入 速度 。 有 些 软件 不 能 处 理 快 速 的 
输入 ， 会 导致 数据 丢失 。 

探索 最 长 的 计算 过 程 。 这 些 漫 长 的 计算 过 程 会 伴随 着 资源 泄 
漏 吗 ? 如 果 遭 遇 中 断 或 民利 ， 它 们 可 以 恢复 并 继续 计算 吗 ? 


有 些 变量 对 应 了 用 户 界 面 控件 ， 较 容易 及 现 ， 有 些 变量 不 存在 “可 视 
的 ”界面 元 素 ， 容 易 被 忽视 。 以 下 是 一 些 种 见 的 “隐藏 > 变量 ， 供 读者 参 


O 〇 


O 〇 

















。 操作 系统 事件 。 操 作 系 统 会 癌 软 件 发 送 各 种 消息 ， 软 件 需要 合理 


地 处 理 。 例 如 ，Windows 在 关机 时 ， 会 回应 用 发 出 
WM_SHUTDOWN 消 息 。 大 多 数 软 件 会 色 略 该 消息 ， 少 数 软件 会 根 
据 该 消息 做 一 些 清理 工作 〈 如 保存 数据 、 清 除 临时 文件 等 ) 。 测 试 
人 员 需 要 回 产 品 经 理 和 程序 员 咨 询 ， 并 做 一 些 实 验 ， 以 发 现 软件 需 
要 处 理 的 操作 系统 事件 。 


设备 事件 。 在 智能 手机 等 移动 设备 上 ， 人 硬件 传 感 响 《〈 如 触 屏 、 陀 
螺 仪 、 加 速 感应 器 、 光 线 感应 器 、GPS 等 ) 会 发 出 大 量 的 信号 。 测 
试 人 员 需 要 检查 移动 应 用 正确 地 处 理 了 必要 的 信号 ， 急 略 了 无 关 的 
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中 断 事 件 。 用 户 在 使 用 软件 时 ， 操 作 系 统 或 其 他 软件 可 能 中 上 断 当 
前 情景 。 人 例如， 用户 在 使 用 智能 手机 应 用 时 ， 一 个 拨 入 的 电话 会 中 
断 当 前 应 用 。 再 例如 ， 用 户 一 边 走 一 边 使 用 移动 应 用 ， 操 作 系 统 突 
然 提 示 附 近 有 可 用 的 Wi-Fi 热 点 ， 该 通知 也 中 断 了 当前 应 用 的 流 
人 
AF win. 


用 户 输入 方式 2 BE PETE A, AP A AE Ai 
OPE RE LA. BRERA. BRT. TRL. BPA 
A. ALE). ARPA. A. PHW. MAAR is 
要 发 现 当 前 平台 可 以 接收 的 输入 方式 ， 并 用 于 测试 。 


数据 类 型 。 例 如 ， 对 于 图 像 处 理 软件 ， 图 片 类 型 是 重要 的 变量 ， 
PNG、JPG、GIF 等 不 同类 型 的 图 片 可 能 会 产生 不 同 的 结果 ，。 


数据 大 小 。 大 斥 才 的 数据 可 能 会 导致 性 能 问题 或 计算 错误 ， 因 此 
数据 大 小 是 一 个 重要 的 变量 。 例 如 ， 用 户 拍 摄 了 50 张 数码 相 厂 ， 
张 相 卢 的 文件 大 小 是 5MB。 图 片 处 理 软件 可 以 轻松 处 理 任 何 一 张 相 
片 ， 但 是 同时 处 理 50 张 相片 时 却 遭 遇 内 存 不 足 的 错误 。 以 此 类 推 ， 
一 张 250MB 的 图 片 很 可 能 导致 相似 的 错误 。 


相对 位 置 。 例 如 ， 在 队列 头 部 、 尾 部 、 中 部 插入 一 个 新 的 元 素 ， 
往往 会 执行 不 同 的 代码 ， 而 错误 可 能 隐藏 在 东 段 特定 的 代码 中 。 测 
试 人 员 要 去 发 现 此 类 由 相对 位 置 引 发 的 特定 操作 。 


容量 。 测 试 人 员 需 要 考虑 “容器 ”的 容量 ， 典 型 的 测试 值 是 0 个 元 
素 、1 个 元 素 、n 个 元 际 Cn 是 容器 可 容纳 的 最 大 元 素 个 数 ) ， 例 如 























空 的 队列 、 只 有 1 个 元 素 的 队列 、 容 量 耗 尽 的 队列 、 空 的 图 文 框 、 
包含 1 个 散 套 图 文 框 的 图 文 框 、 包 括 9 级 授 套 的 图 文 栓 、 不 弹出 确认 
对 话 框 、 弹 出 1 个 确认 对 话 框 、 弹 出 9 个 确认 对 话 框 。 这 些 变 化 的 数 
值 暗 示 了 软件 的 不 同 处 理 方 式 ， 值 得 测试 人 员 进 一 步 探索 。 


本 地 化 和 国际 化 。 许 多 操作 系统 允许 用 户 更 改 系统 的 地 区 ， 这 通 
常 意味 着 字符 集 、 时 间 格式 、 货 币 格式 等 基本 数据 格式 的 改变 。 许 
多 软件 允许 用 户 更 改 界面 语言 ， 这 通常 意味 着 界面 字符 串 的 长 度 、 
方向 、 格 式 的 改变 ， 有 些 软件 还 会 加 载 新 语言 的 字典 文件 。 测 试 人 
员 需 要 检查 软件 能 够 处 理 这 些 基本 数据 的 变化 。 


时 间 。 测 试 人 员 需 要 考察 特殊 的 时 间 点 、 特 殊 的 时 间 长 度 、 周 期 
性 的 事件 、 涉 及 多 个 时 区 的 业务 、 输 入 的 速度 、 计 算 的 耗 时 等 。 


构建 IO 模型 有 助 于 测试 人 员 更 好 地 理解 被 测 对 象 ， 更 自如 地 操控 ， 更 全 
面 地 观察 ， 更 好 地 设计 测试 。 通 常 ， 友 现 重 要 的 变量 ， 相 应 的 测试 想法 
就 会 目 然 浮现 。 反 之 ， 未 发 现 重 要 的 变量 ， 测 试 设计 就 会 存在 漏洞 ， 有 
可 能 错过 重要 的 缺陷 。 


4.2.3 ”系统 生态 图 


在 测试 一 个 较 复 杂 的 软件 系统 时 ， 测 试 人 员 需 要 分 析 系 统 的 内 部 结构 、 
外 部 依赖 和 访问 接口 。 测 试 专家 Elisabeth Hendrickson 建 议 测试 人 员 绘 制 
一 幅 图 来 描述 系统 的 生态 环境 ， 它 综合 了 传统 的 语 境 图 和 部 普 图 ， 可 以 
帮助 测试 人 员 系 统 性 地 探索 整个 系统 [Hendrickson13]。 我 将 这 样 的 图 称 
为 系统 生态 图 。 


。 语 境 图 描述 系统 如 何 与 外 部 环境 联系 ， 展 示 了 系统 的 用 户 、 接 口 和 
外 部 依赖 “如 数据 源 、 协 作 进程 、 文 撑 服 务 等 ) 。 


。 部 普 图 描述 组 成 系统 的 子 系统 或 模块 ， 包 括 数 据 库 、 服 务 进程 、 可 
执行 程序 等 。 

图 4-10 是 一 张 我 手绘 的 系统 生态 图 ， 描 述 了 一 个 我 测试 过 的 报表 系统 。 
。 从 语 境 图 的 角度 ， 图 4-10 的 虚线 框 描述 了 报表 系统 的 边界 。 系 统 
分 成 两 部 分 ， 左 侧 部 分 是 一 个 Silverlight 应 用 ， 实 际 用 户 通 过 该 
Silverlight 悄 用 访问 报表 数据 ， 右 侧 部 分 是 系统 的 后 人 台 ， 由 系统 管 


























理 员 控 制 。 除 了 系统 边界 和 用 户 ， 图 的 右上 角 还 呈现 了 系统 所 依赖 
的 外 部 数据 源 。 


从 部 署 图 的 角度 ， 图 4-10 描 述 了 系统 的 组 成 部 分 。 这 是 一 个 “客户 
问 一 服务 器 ?架构 的 系统 。 在 客户 端 ， 一 个 运行 在 正中 的 Silverlight 
应 用 从 服务 端 获得 数据 ， 并 绘制 报表 。 在 服务 端 ， 一 个 同步 工具 将 
外 部 数据 源 的 数据 转 储 在 报表 数据 库 中 。 一 个 windows 服 务 将 读 取 
数据 库 ， 并 提供 基于 WCF 技 术 的 数据 访问 服务 。 一 个 HS 网 站 调用 
00500 0 0 0 
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图 4-10 一 个 报表 系统 的 系统 生态 图 


制作 系统 生态 图 的 时 机 一 般 是 在 系统 设计 完成 的 时 候 。 测 试 人 员 可 以 将 
该 图 作为 评审 设计 规格 说 明 的 “ 课 后 作业 ”， 通 过 绘制 调试 视角 的 模型 来 
理解 系统 设计 。 他 可 以 从 实际 用 户 接 触 的 组 件 开 始 ， 逐 渐 男 出 整个 系 
统 ， 也 可 以 从 最 重要 的 模块 开始 ， 逐 渐 衍 生出 其 他 模块 。 最 初 的 系统 生 
态 图 无 需 退 求 细致， 只 要 涵盖 整个 系统 即 可 。 测 试 人 员 可 以 随 着 项 目 进 
展 对 它 进 行 修订 。 


关于 绘制 方式 ， 我 倾 癌 于 用 纸 笔 绘制 系统 生态 图 ， 因 为 手绘 有 几 个 优 
势 。 第 一 ， 手 工 绘制 的 速度 超过 使 用 作 图 软件 ， 我 只 需 几 分 钟 的 时 间 就 
可 以 画 出 图 4-10。 第 二 ， 手 工 绘制 灵活 性 高 ， 可 以 方便 地 男 出 多 种 图 
元 ， 随 意 地 添加 标记 和 注释 。 第 三 ， 手 绘 让 我 专注 于 图 的 内 容 ， 而 不 是 
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作 图 软件 的 功能 ， 有 助 于 更 好 地 思考 。 第 四 ， 我 可 以 将 图 纸 展示 给 同 
事 ， 以 分 人 至 建 模 成 果 。 在 讨论 过 程 中 ， 我 们 可 以 快速 地 将 新 的 想法 补 元 
到 图 上 。 纸 和 笔 提供 了 一 个 自然 的 协作 平台 。 


手工 绘制 的 主要 缺点 在 于 不 易 存 档 。 为 此 ， 我 准备 了 一 个 文件 来， 专门 
存放 手工 绘制 的 各 种 图 纸 。 如 果 需 要 长 期 保存 ， 我 会 用 智能 手机 拍摄 图 
纸 的 照片 ， 将 照片 保存 在 电子 的 测试 笔记 中 。 以 我 的 经 验 ， 大 部 分 图 纸 
服务 于 短期 任务 ， 无 需 电子 存档 ， 只 有 少量 的 重要 图 纸 需 要 电子 化 。 


手工 绘制 的 力 一 个 缺 反 是 不 易于 修改 。 对 于 细节 的 修改 尚 可 以 在 原 图 上 
涂改 ， 但 是 大 规模 的 修订 就 只 能 重 绘 。 对 此 ， 我 有 两 个 应 对 方法 。 第 
一 ， 对 于 重大 修改 ， 我 会 重新 绘制 模型 。 绘 制 一 幅 图 只 要 几 分 钟 的 时 
间 ， 开 销 很 低 。 更 重要 的 是 ， 重 绘 不 是 揪 侈 原 图 ， 而 是 重新 思考 产品 、 
建构 更 好 模型 的 过 程 。 舍 弃 原 有 模型 表达 ， 论 一 些 时 间 去 构思 新 的 形 
式 ， 往 往 会 显著 提升 模型 的 质量 。 第 二 ， 对 于 复杂 、 经 常 改动 、 或 需要 
n ir ie gre er eerste 


在 获得 系统 生态 图 之 后 ， 测 试 人 员 可 以 用 它 指导 测试 设计 。 一 种 测试 设 
计 思 路 是 关注 系统 的 边界 ， 检 查 系 统 的 使 用 者 和 外 部 依赖 对 系统 的 影 
啊 。 对 于 图 4-10， 测 试 人 员 可 以 考虑 如 下 方面 。 


。 针对 同步 工具 从 外 部 数据 源 导 入 数据 。 常 见 的 测试 想法 包括 : 如 
打数 据 源 暂 时 不 可 访问 ， 会 如 何 ?” 如果 数据 源 提供 空 的 数据 集 ， 会 
如 何 ? 如 果 数 据 源 提供 海量 的 数据 ， 会 如 何 ?” 如 果 数 据 源 提供 不 符 
OT feces te elec erent 
10 何 ? 


针对 实际 用 户 访问 的 Silverlight 应 用 。 常 见 的 测试 想法 包括 : 

Silverlight 必 用 对 用 户 的 计算 机 有 什么 要 求 ?” Silverlight) H AY Fite 

0 a 
到 的 报表 ? 


ADA Fit (Silverlight). AW) 和 服务 端 (网 站 、Windows 服 务 、 
数据 库 ) 的 数据 传输 。 常 见 的 测试 想法 包括 : 如 果 客 户 端 提交 错 
误 的 数据 ， 服 务 端 如 何 处 理 ? 如果 服务 端 提供 错误 的 报表 ， 客 户 端 
如 何 处 理 ? 如 果 多 个 用 户 同时 访问 ， 大 量 的 并 发 客户 端 会 不 会 导致 
性 能 问题 ?如 果 服 务 端 暂 时 不 可 访问 或 反应 信 绥 ， 客 户 端 如 何 向 用 
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以 上 所 列 只 是 可 行 测试 想法 的 一 小 部 分 。 测 试 人 员 可 以 深入 分 析 系 统 特 
扩 ， 产 生 更 多 的 测试 想法 。 其 中 ， 一 个 有 帮助 的 思考 方法 是 条 件 分 析 
， 即 不 停 地 询问 “如 果 发 生 .……， 会 如 何 ? ”通过 构思 可 能 发 生 的 各 种 情 
况 ， 测 试 人 员 能 够 检查 系统 对 于 复杂 情景 的 应 对 能 力 。 


对 于 系统 生态 图 ， 另 一 种 测试 思路 是 根据 组 件 所 使 用 的 技术 ， 构 思 相 应 
acre 测试 人 员 根 据 图 4-10 所 列举 的 技术 ， 可 获得 如 下 测 
试想 法 。 


。 Silverlight 心 用 通过 异步 通信 与 服务 端 通 信 。 如 果 用 户 连续 点 击 控 
件 ， 客 户 端 会 问 服 务 端 发 送 多 个 间 隅 很 短 的 请 求 ， 服 务 端 如 何 处 理 
这 些 接近 “并 发 ”的 请 求 ? WR AR A m BS SEI |B] SM, ir 
何 处 理 这 些 接近 “并 发 ”的 响应 ?如果 服 务 端 返回 的 啊 应 不 符合 请 求 
的 顺序 ， 客 户 端 如 何 处 理 ? 


服务 端的 网 站 和 Web 服 务 使 用 WCF 技 术 。WCE 的 默认 配置 对 所 传 
输 数据 的 长 度 有 较 严 格 的 限制 。 那 么 ， 被 测 系统 使 用 了 何 种 WCF 配 
A? 该 配置 对 数据 传输 的 限制 是 多 少 ? 能 否 构造 一 个 大 型 报表 ， 使 
其 数据 长 度 超过 当前 限制 ? 


同步 工具 和 Windows 服 务 可 能 同时 访问 数据 库 。 当 同步 工具 写 入 
数据 时 ，Windows 服 务 会 不 会 读 到 “ 脏 数 据 "， 以 至 于 生成 错误 的 报 
表 ? 如 果 同 步 工 具 写 入 数据 时 会 锁 住 表格 ，Windows 服 务 会 不 会 被 
阻塞 ， 以 至 于 实际 用 户 体验 到 性 能 问题 ?如果 Windows 服 务 读 取 数 
et NEPEAN 
错误? 


以 上 所 列 仍 旧 是 可 行 测试 想法 的 一 小 部 分 。 测 试 人 员 需 要 了 解 实现 拉 术 
的 特征 和 常见 问题 ， 才 能 全 面 思 考 ， 构 思 出 有 针对 性 的 测试 。 

此 外 ， 测 试 专家 Michael Bolton 和 James Bach 针 对 部 署 图 ， 提 出 了 一 批 测 
试 指导 词 ， 对 于 测试 设计 有 很 高 的 参考 价值 [Bolton09a]。 其 基本 元 素 是 
节点 、 组 件 和 路 径 。 


节点 是 系统 的 组 件 ， 是 测试 设计 的 基本 对 象 。 




















线条 


缺失 和 退出 : 如 果 组 件 退 出 ， 系 统 会 如 何 ? 


one : 如 采 出 现 额外 的 组 件 或 组 件 发 出 和 干扰， 系统 会 如 
可 ? 


错误 : 组 件 会 发 生 哪些 错误 ? 如 果 组 件 出 错 ， 系 统 会 如 何 ? 


时 间 和 顺序 : 考虑 时 间 、 时 序 、 时 长 、 时 限 、 速 度 、 频 率 等 时 间 
因 系 对 组 件 的 影响 。 


内 容 与 算法 : 考虑 组 件 容纳 的 数据 和 使 用 的 算法 。 
条 件 行为 : 在 不 同 的 条 件 下 ， 考 察 组 件 的 行为 。 
局 限 : 组 件 有 什么 业务 和 技术 局 限 ? 这 些 局 限 对 系统 有 何 影响 ? 


前 误 处 理 ， 组 件 如 何 发 现 并 处 理 自身 的 错误 ? 如 何 发 现 并 处 理 来 
自 其 他 组 件 的 错误 ? 


连接 了 组 件 。 测 试 人 员 需 要 针对 组 件 之 间 的 通信 设计 测试 。 
缺失 和 退出 ， 如 果 组 件 间 的 通信 中 断 ， 系 统 会 如 何 ? 
额外 和 分 支 能 否 建立 额外 的 通信 渠道 ? 


组 件 间 的 通信 会 发 生 哪些 错误 ? 如 果 通 信 出 错 ， 系 统 会 如 
Ay? 


时 间 和 顺序 : 考虑 时 间 、 时 序 、 时 长 、 时 限 、 速 度 、 频 率 等 时 间 
因素 对 通信 的 影响 。 


状态 通信 : 组 件 之 间 如 何 传播 或 同步 彼此 的 状态 ? 
数据 结构 : 通信 使 用 何 种 数据 结构 、 数 据 格式 、 数 据 类 型 ? 











路 径 是 线条 构成 的 通路 。 测 试 人 员 需 要 针对 图 中 的 路 径 〈 通 常 对 应 为 
数据 传播 路 径 或 工作 流 ) 设计 测试 。 


最 简 的 : 设计 连接 组 件 的 最 简单 路 径 。 








。 FHK: 考 碟 用 户 使 用 系统 的 着 见 路 径 。 

。 关键 的 : 考虑 完成 业务 的 关键 路 径 ， 例 如 完成 菜 项 业务 有 几 条 可 
行路 径 ， 关 键 路 径 不 包含 或 只 包含 最少 的 非 必 经 节点 。 

。 FRI: 考虑 复杂 的 数据 流 和 工作 流 对 系统 的 影响 。 

。 病态 的 : 考虑 可 能 的 病态 路 径 ， 例 如 恶意 数据 在 系统 内 传播 的 感 
染 路 径 ， 又 例如 由 于 错误 操作 导致 的 卉 党 工作 流 。 

。 挑战 的 : 考虑 对 系统 而 言 有 挑战 性 的 路 径 ， 例 如 伴随 超 高 负荷 运 
算 的 工作 流 。 


。 错误 处 理 : 系统 能 否 发 现 并 处 理 数 据 流 和 工作 流 中 的 错误 ? 
。 周期 的 : 考 碟 周期 的 、 定 期 的 、 间 鞭 的 事件 对 路 径 的 影响 。 





在 测试 指导 词 的 基础 上 ，Michael Bolton 利 用 部 署 图 和 测 程 来 组 织 测试 
[Bolton12]。 人 例如， 项目 时 间 人 允许 执行 40 个 测 程 。 为 了 更 好 地 安排 测 

程 ， 他 在 白板 上 画 了 如 图 4-11 所 示 的 部 草图， 并 拟定 了 6 个 主要 的 测试 
策略 : 观察 并 建立 测 斌 先知、 控制/ 变化/ 改变、 强制 失败 、 利 用 工具 探 
= 探索 数据 或 对 象 、 探 索 活 动 。 这 些 测 试 策 略 将 履 盖 产品 的 不 同方 








D 
4 I 观察 并 建立 测试 先知 ii 利用 工具 探索 


图 4-11 部 署 图 和 测试 策略 


然后 ， 他 组 织 测试 小 组 一 起 评审 部 车 图 。 他 们 用 即时 贴 代表 测 程 ， 在 一 
张 即 时 贴 上 写 下 简单 的 主题 词 ， 然 后 贴 到 一 个 节点 或 线条 上 。 因 为 即时 
贴 是 有 限 的 ， 测 试 小 组 在 张贴 过 程 中 ， 要 平衡 不 同 测 试 打上 略 的 数量 ， 要 
平衡 在 不 同市 把 和 线条 上 的 测 程 。 当 贴 完 40 张 即时 贴 时 ， 测 试 安排 束 目 








然 结 束 。 如 图 4-12 所 示 ， 测 试 小 组 获得 了 一 个 窗 瘟 整个 系统 的 测试 方 
ee 
FIN o 
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那么 测试 安排 就 会 产生 漏洞 。 为 此 ， 测 试 人 员 要 不 停 地 自问 : OC Rk 
少 了 什么 ? EMA AUN GEIS ce TB A ti, SES A? 
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盒 层 面 ， 它 列举 了 软件 系统 的 用 户 和 外 部 依赖 ， 让 测试 人 员 思 考 系统 的 
边界 和 接口 。 在 白 盒 层面 ， 它 呈现 了 系统 的 主要 组 件 和 组 件 之 间 的 联 
系 ， 让 测试 人 员 可 以 分 析 整 个 系统 的 运作 。 因 此 ， 创 建 系统 生态 图 有 助 











于 测试 人 员 从 整体 上 把 握 产 品 ， 并 设计 多 样 化 的 测试 想法 。 
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4.2.4 实体 关系 模型 


实体 关系 模型 (Entity-Relationship model，ER 模 型 ) 是 一 种 数据 库 建 模 
方法 ， 由 计算 机 科学 家 陈 品 山 (Peter Pin-Shan Chen) 于 1976 年 提出 
[WikipediaERM12]。ER 模 型 被 广泛 地 用 于 关系 型 数据 库 的 分 析 与 设 
计 ， 并 被 推广 到 普通 软件 的 数据 分 析 。 


图 4-13 是 一 个 简化 的 在 线 交 易 系统 的 ER 模型 。 其 中 ， 长 方形 节点 是 实 
人 
联 。 











图 4-13 在线 交易 系统 的 ER 模型 


。 通常 ， 实 体 是 系统 中 的 “名 词 ”， 代表 了 业务 领域 的 一 类 对 象 ， 这 
些 对 象 拥 有 独立 的 含义 和 可 被 识别 的 标识 。 例 如 ， 在 线 交 易 系统 
中 ， 广 商 、 商 品 、 订 单 、 买 家 等 实体 拥有 明确 的 含义 、 属 性 和 标 
识 ， 是 构成 交易 的 基本 元 系 。 实 体 的 属性 古 实体 的 数据 ， 例 如 “三 
商 ” 会 拥有 厂商 编号 、 厂 商 名 、 联 系 人 、 地 址 、 电 话 等 属性 。 


关系 往往 体现 为 “动词 "”， 联系 了 两 个 或 多 个 实体 。 例 如 ， 关 系 “所 
供 ” 束 反应 了 “厂商 ”对 “商品 ”的 供应 关系 。 在 关系 “提供 ”的 两 条 连 线 
上 标注 了 实体 间 的 数据 联系 :“ 厂 商 是 1， 商 品 是 N”， 代 表 一 位 厂商 
可 以 提供 多 种 商品 ， 即 厂商 与 商品 是 “一 对 多 ”关系 。“/ 两 一 提供 
一 商品 一 购买 一 订单 "连接 了 厂商 和 订单 。 因 为 一 位 厂商 可 以 同 
多 份 订单 供 仙 ， 一 份 订单 可 以 包含 来 自 多 位 厂商 的 商品 ， 所 以 厂商 
与 订单 构成 了 “多 对 多 ”关系 。 关 系 也 拥有 属性 ， 例 如 “购买 ”天 系 的 
属性 包含 商品 的 售 出 价格 、 税 值 等 。 


从 黑 盒 测试 的 角度 ， 测 试 人 员 可 以 使 用 ER 模型 来 建立 软件 的 数据 模 
型 。 他 分 析 业 务 文档 ， 识 别 出 业务 对 象 ， 将 它们 抽象 为 实体 。 他 还 可 以 
分 配 一 个 测 程 ， 其 主题 为 “利用 买 家 的 用 户 界面 ， 探 索 购 物流 程 ， 以 获 
得 买 家 相关 的 ER 模型 ”， 即 通过 测试 来 创建 ER 模型 。 以 下 是 一 些 识别 实 
体 和 属性 的 技巧 。 


。 在 Web 应 用 中 ， 一 张 表单 往往 对 应 了 一 个 实体 ， 表 单 的 字段 对 应 
了 实体 的 属性 。 例 如 ， 用 户 注册 表单 对 应 了 “用 户 ” 实 体 ， 需 要 填 
写 的 注册 信息 对 应 了 用 户 属性 。 又 例如 ， 订 单 确认 页 面 暗示 了 “ 订 
单 " 是 一 个 实体 ， 页 面 上 的 金额 、 下 单 时 间 、 支 付 方式 等 信息 是 订 
单 的 属性 。 此 外 ， 订 单 页 面包 含 指向 商品 的 链接 ， 上 暗示 了 “ 订 


























单 ” 与 “商品 ”之 间 存 在 “购买 "关系 。 


设置 对 话 框 常常 呈现 了 一 个 实体 拥有 的 属性 。 例 如 ， 图 4-3 展 示 了 
PowerPoint 对 图 片 阴影 的 设置 对 话 框 ， 它 表明 图 片 是 一 个 实体 ， 并 
oo 人 实体 ， 而 颜色 、 透 明度 、 大 小 等 具体 设置 是 阴影 


有 些 软件 或 服务 用 对 象 模型 、Web 服 务 等 方式 提供 了 编程 接口 。 
其 中 ， 一 个 类 型 第 第 对 应 一 个 实体 ， 类 型 的 字段 或 特性 对 应 了 实体 
的 属性 ， 类 型 之 间 的 聚合 关系 往往 暗示 了 ER 模型 的 关系 。 

















在 测 程 中 ， 测 试 人 员 可 以 用 简化 的 ER 模型 图 来 记录 建 模 结果 。 例 如 ， 
ee Ee 它 用 连 线 来 表达 关系 ， 只 对 重要 的 关系 
IE SA 


购买 





图 4-14 简化 的 在 线 交 易 系 统 的 ER 模型 
从 白 盒 测试 的 角度 ， 测 试 人 员 可 以 分 析 产 品 数据 库 〈( 如 图 4-15 所 示 ) 来 





建 并 ER 模型 。 通 常 ， 一 张 表 对 应 一 个 实体 ， 外 键 定义 了 实体 之 间 的 关 
系 。Customer 表 对 应 “用 户 ?” 实 体 ，Order 对 应 “订单 ?实体 ， 由 Order 到 
Customer 的 外 键 对 应 了 “拥有 ”关系 。Purchase 是 一 张 关联 表 ， 它 体现 了 
Order 与 Product 的 “多 对 多 ”关系 ， 有 反映 了 “购买 ”关系 。 
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图 4-15 在线 交易 系统 的 数据 库 设计 


在 获得 ER 模型 之 后 ， 测 试 人 员 可 以 综合 使 用 CRUD (Create, Read, 
Update, Delete) [Hendrickson13]、 出 租车 漫游 、 快 递 漫 游 、 沙 发 土豆 
漫游 [Whittaker09] 等 手段 来 实施 测试 。 


CRUD 就 是 对 实体 、 关 系 和 属性 进行 创建 、 读 取 、 更 新 和 删除 操作 ， 是 
所 有 数据 测试 的 基本 步 又。 围绕 这 些 操作 ， 测 试 人 员 可 以 构思 出 多 样 的 
测试 想法 。 以 下 是 一 些 可 能 的 策略 。 








沙发 土豆 漫游 。 “沙发 土豆 "是 一 句 美 国 倡 语 ， 比 喻 一 个 人 很 懒 ， 
整 天 陷 在 沙发 里 看 电视 。James Whittaker 以 此 为 隐喻 ， 提 出 了 沙发 
土豆 漫游 。 运 用 该 漫游 测试 时 ， 测 试 人 员 忆 是 不 修改 软件 提供 的 默 
认 值 ， 只 是 不 停 地 点 击 “ 下 一 步 * 让 软件 处 理 它 给 出 的 默认 值 。 有 
时 ， 软 件 的 用 户 界 面 和 后 台 计 算是 不 同 的 程序 员 编 写 的 ， 他 们 可 能 
使 用 不 同 的 逻辑 去 检查 数值 的 合法 性 ， 因 此 用 户 界面 上 给 出 的 默认 
值 有 可 能 是 后 台 计 算 不 能 处 理 的 非法 值 。 此 外 ， 沙 发 土豆 漫游 还 可 
以 发 现 一 些 软件 应 该 给 出 默认 值 〈 以 减少 用 户 的 输入 负担 ) ， 但 是 
没有 给 出 默认 值 的 情况 。 


测试 人 员 还 可 以 装 成 男 一 种 “沙发 土豆 ”一 一 拒 不 提供 数值 Bil 
如 ， 网 页 表单 给 出 了 一 批 字 段 的 默认 值 ， 测 试 人 员 删 除 其 中 一 些 默 
认 值 ， 然 后 提交 表单 。 面 对 这 种 情况 ， 不 同 的 实现 有 不 同 的 做 法 : 
有 些 网 页 会 检查 字段 的 数值 ， 并 报告 数值 缺失 的 错误 ， 有 些 后 台 服 
务 嚣 会 检查 用 户 提 交 的 数值 ， 并 报告 错误 ; 有 些 后 台 服 务 器 会 使 用 
它 认 为 的 默认 值 ( 也 许 与 网 页 显示 的 默认 值 不 同 ) 。 根 据 网 页 的 实 
际 表现 ， 测 试 人 员 可 以 再 设计 新 的 测试 。 


























对 于 实体 和 关系 的 属性 ， 测 试 人 员 需 要 测试 非法 值 和 极限 值 。 例 
如 ， 图 4-3 展 示 了 PowerPoint 对 图 片 阴 影 的 设置 。 测 试 人 员 需 要 针对 
每 个 控件 (阴影 的 属性 ) 测试 非法 值 和 极限 值 。 


有 时 ， 实 体 的 属性 对 于 某 些 模块 是 合法 的 ， 对 于 另 一 些 模块 却 会 
导致 错误 。 例 如 ， 在 图 4-3 所 示 的 对 话 框 中 ， 测 试 人 员 设置 了 一 些 
阴影 属性 的 极限 值 〈 如 将 “模糊 ? 设 为 0 磅 ) 。 此 时 ，PowerPoint 能 正 
确 绘 制 阴影 。 随 后 ， 测 试 人 员 将 约 灯 所 另存 为 PDF 文档 ， 却 发 现 所 
生成 的 文档 不 能 正确 显示 阴影 。 为 了 发 现 这 种 错误 ， 测 试 人 员 需 要 
考虑 快递 漫游 。 快 递 漫 游 的 隐喻 是 快递 人 员 会 携带 着 货物 穿越 万 水 
于 山 、 城 市 乡村 、 大 街 小 起 。 相 似 地 ， 漫 游 测 试 要 求 测试 人 员 随 着 
数据 游历 整个 系统 ， 跟 着 实体 进入 系统 的 不 同 部 分 ， 并 在 各 处 调用 
CRUD. 


软件 可 能 提供 了 多 种 方式 来 修改 实体 、 关 系 和 属性 。 例 如 ， 用 户 
可 以 用 如 图 4-3 所 示 的 PowerPoint 对 话 框 来 修改 图 片 的 阴影 效果 ， 还 
可 以 编写 宏 ， 用 代码 来 修改 图 片 阴影 。 为 了 保证 测试 宪 新 ， 测 试 人 
员 需 要 考虑 出 租车 漫游 。 出 租车 漫游 的 隐喻 是 出 租车 司机 对 城市 交 
通 非 常 了 解 ， 他 可 以 想 出 很 多 路 线 到 达 目 的 地 ， 而 漫游 测试 需要 履 
盖 所 有 这 些 路 线 。 对 于 复杂 的 软件 ， 测 斌 人员 需 要 多 方面 调查 功能 
的 接口 ， 穷 尽 所 有 的 接口 来 调用 CRUD，。 





























除了 以 上 测试 策略 ， 测 试 人 员 还 要 是 考察 CRUD 对 ER 模型 的 影响 。 最 各 
用 的 启发 式 方法 是 通过 CRUD 去 制造 “ 零 个 、 一 个 、 多 个 ”实体 的 情况 
[Hendrickson13]。 以 下 是 一 些 和 常见 的 启发 式 问 题 。 





能 否 创建 一 个 没有 依赖 的 实体 ? 在 如 图 4-13 所 示 的 在 线 交 易 系 统 
中 ， 通 过 注册 新 买 家 可 以 创建 一 个 没有 订单 的 买 家 。 那 么 ， 可 以 创 
建 一 个 没有 买 家 的 订单 吗 ? 可 以 先 创 建 一 个 买 家 ， 让 他 下 一 笔 订 

单 ， 再 删除 该 买 家 ， 从 而 获得 没有 用 户 的 订单 吗 ? 合理 的 数据 库 设 
计 可 以 禁止 没有 用 户 的 订单 ， 不 过 测试 人 员 不 能 假定 数据 库 设计 正 
确 。 此 外 ， 软 件 的 一 些 模块 也 许 会 短暂 地 使 用 这 样 的 订单 ， 这 

种 “非法 ” 且 “ 临 时 ”状态 的 订单 会 遗漏 到 其 他 模块 并 导致 系统 出 错 

吗 ? 测试 人 员 可 以 使 用 出 租车 漫游 和 快递 误 游 去 调查 。 


能 人 否 删除 一 个 有 依赖 的 实体 ? 在 图 4-13 的 ER 模型 中 ， 如 果 删 除 一 
个 有 订单 的 买 家 会 发 生 什么 ? 系统 是 禁止 删除 有 订单 的 买 家 ， 还 是 
会 级 联 删除 该 买 家 拥有 的 订单 ? 如 果 订 单 已 经 付款 且 没 有 交 货 ， 级 





联 删除 订单 会 不 会 导致 无 法 区 货 ? 如果 一 家 厂商 退出 市 场 ， 但 是 它 
的 一 批 货物 仍旧 保存 在 电子 商城 的 配送 中 心 (电子 商城 已 经 为 这 批 
STK) ， 那 么 该 如 何 处 理 ? 能 否 删除 该 厂商” 如 末 删 除 广 商会 导 
致 相关 产品 被 级 联 删 除 ， 那 么 电子 商城 还 能 否 继续 销售 这 篇 存货 ? 
这 些 问题 看 似 极 器 ， 但 是 现实 世界 的 电子 交易 比 图 4-13 的 ER 模型 要 
复杂 得 多 ， 会 遇 到 更 多 的 难题 。 测 试 人 员 需 要 从 买 家 、 三 商 、 电 子 
商城 等 不 同 用 户 的 角度 考虑 可 能 的 业务 流程 。 


。 能 否 改变 实体 之 间 的 关系 ? 例如 ， 电 子 商 城 通过 快递 公司 发 货 给 
买 家 A。 货 在 途中 时 ， 买 家 A 回 电子 商城 报告 ， 这 笔 区 易 是 有 人 盗 
用 其 账户 所 为 ， 要 求 撤 单 。 此 时 ， 电 子 商 城 能 含 要 求 快 递 公 司 停止 
问 买 家 A 送 贷 ， 转 而 将 该 货品 送 给 男 一 位 购买 相同 商品 的 买 家 B? 
如 果 这 在 业务 上 是 可 行 的 ， 那 么 软件 系统 如 何 支 持 这 笔 修改 ? 如 何 
修改 商品 、 订 单 、 买 家 之 间 的 联系 ? 


综 上 所 述 ，ER 模 型 用 简练 的 图 形 描述 了 软件 系统 的 数据 关系 ， 帮 助 测 
试 人 员 概览 业务 模型 〈《 黑 盒 视 角 ) 或 实现 模型 ( 白 盒 视角 ) 。 利 用 该 模 
站 


4.2.5 ”状态 机 模型 
状态 机 (state machine〉 是 一 种 常见 的 软件 建 模 方法 ， 被 广泛 地 应 用 于 


软件 分 析 、 设 计 、 开 发 与 测试 ， 并 且 是 基于 模型 的 测试 ” 的 重要 技术 之 
—[WikipediaMBT12]. 



































17 该 "基于 模型 的 测试 是 指 测 试 人 员 建 立 软件 的 形式 化 模型 ， 通 常 是 有 限 状态 自动 机 、 马 尔 可 
夫 链 、 形 式 化 系统 等 数学 模型 ， 然 后 利用 可 执行 路 径 搜 索 、 定 理 证 明 、 符 号 执行 、 模 型 检查 等 
算法 ， 上 自动 地 执行 测试 或 检查 软件 模型 。 这 是 一 类 基于 形式 化 模型 的 自动 化 测试 技术 ， 是 “ 狭 
义 ” 的 基于 模型 的 测试 。 除 本 句 之 外 ， 本 章 讨 论 的 是 “广义 ”的 基于 模型 的 测试 ， 即 利用 软件 的 
模型 (可 以 是 形式 化 模型 ， 也 可 以 是 非 形式 化 模型 )， 进 行 测试 设计 。 本 章 的 讨论 偏向 人 工 设 
计 测 试想 法 ， 但 并 不 排除 使 用 自动 化 算法 来 实施 测试 。 我 建议 读者 在 与 其 他 人 讨论 “基于 模型 
oe ， 要 了 解 对 方 所 说 的 是 “狭义 ”概念 还 是 “广义 ”概念 ， 这 有 助 于 掌握 语 境 ， 避 免 误 
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3.2.7 节 介绍 了 一 篇 Windows 8 应 用 的 测试 指南 ， 该 文档 以 应 用 的 状态 为 
核心 ， 介 绍 了 相关 知识 和 测试 要 点 。 图 4-16 是 从 操作 系统 的 角度 考察 应 
用 状态 所 获得 的 状态 图 [Hilo12]， 其 图 元 的 含义 如 下 。 








。 ARR Windows 8 应 用 的 状态 ， 包 括 从 未 运行 、 不 在 运行 、 被 用 
户 关 闭 、 运 行 、 已 挂 起 和 已 终止。 


。 线条 代表 变迁 ， 其 起 点 是 变迁 的 源 状 态 ， 终 点 是 目标 状态 ， 线 条 上 
的 文字 是 变迁 的 触发 事件 。 例 如 ， 当 用 户 从 当前 应 用 切换 到 开始 屏 
磋 时 ， 操 作 系 统 同 处 于 “运行 ”状态 的 应 用 触发 “ 挂 起 ”事件 ， 并 在 5 
秒 后 将 其 置 于 “已 挂 起 ”状态 。 





应 用 安装 、 用 户 登录 
或 操作 系统 重启 


、 
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图 4-16 Windows 8 应 用 的 状态 图 
在 获得 状态 图 之 后 ， 测 试 人 员 可 以 从 以 下 角度 设计 测试 用 例 。 


。 设计 测试 用 例 以 覆盖 所 有 状态 。 对 于 图 4-16， 测 试 人 员 应 该 操作 
被 测 应 用 ， 使 它 抵达 所 有 状态 三 点 从 未 运行 、 不 在 运行 、 被 用 户 
关闭 、 运 行 、 已 挂 起 、 已 终止。 


。 设计 测试 用 例 以 履 盖 所 有 状态 变迁 。 对 于 图 4-16， 测 试 人 员 应 该 
操作 被 测 应 用 ， 使 它 经 过 所 有 变迁 线条 。 例 如 ， 当 应 用 处 于 “ 运 
行 ”状态 时 ， 测 试 人 员 切 换 到 Windows 桌 面 ， 然 后 在 任务 管理 器 中 
检查 它 正 确 地 进入 到 “ 己 挂 起 ”状态 ， 这 覆盖 了 “ 挂 起 ”变迁 (“ 运 
行 ” 状 态 -> “已 挂 起 ”状态 ) 。 


设计 测试 用 例 以 缆 雷 所 有 触发 事件 。 有 些 变 迁 可 以 被 多 个 触发 事 
件 激 及 ， 测 试 人 员 应 该 测试 所 有 的 触 肥 事件 。 例 如 ， 为 了 和 覆 尊 “ 挂 
起 ”变迁 (“运行 ”状态 “已 挂 起 ”状态 ) 的 触发 事件 ， 测 试 人 员 可 




















以 测试 : 从 被 测 应 用 切换 到 Windows 桌 面 、 从 被 测 应 用 切换 到 
Windows 开 始 屏幕 、 从 被 测 应 用 切换 到 其 他 Windows 8 应 用 、 合 上 
笔记 本 电脑 《或 按 下 Windows 平 板 上 的 开机 键 ) 令 计算 机 休眠 等 。 


在 许多 软件 中 ， 对 象 的 状态 是 显而易见 的 。 例 如 ， 经 第 在 线 购物 的 用 户 
都 了 解 订 蛙 具备 尚未 提交 、 己 提交 未 确认 、 已 确认 、 友 贷 、 交 仙 等 状 

态 。 需 求 文档 或 设计 文档 常常 插 述 了 重要 对 象 的 状态 ， 甚 至 绘制 了 状态 
图 。 测 试 人 员 可 以 直接 使 用 这 些 信息 来 构建 状态 机 ， 以 减少 建 模 的 开 

销 。 不 过 ， 即 便 项 目 经 理 或 程序 员 提 供 了 状态 机 ， 训 试 人 员 仍 需要 通过 
测试 去 发 现 隐藏 的 状态 和 相应 的 变迁 。 这 是 因为 软件 是 高 度 复 杂 的 ， 任 
何 状态 机 都 只 是 一 种 简化 表达 ， 它 可 能 遗漏 了 某 些 值得 测试 的 状态 或 变 
迁 。 为 此 ， 测 试 人 员 需 要 在 训 试 欠 代 中 检验 并 完善 状态 机 。 


状态 机 建 模 的 第 一 步 是 识别 状态 。 如 宁 将 软件 状态 看 作 内 部 变量 拥有 的 
值 ， 那 么 软件 就 有 无 穷 多 的 状态 。 注 重 实效 的 测试 人 员 会 根据 测试 使 命 
明确 建 模 目 标 ， 从 而 将 无 穷 多 的 值 归 纳 到 少数 几 个 状态 。 例 如 ， 图 4-16 
的 重点 是 分 析 Windows 8 应 用 与 操作 系统 的 交互 ， 所 以 该 模型 将 应 用 正 
常 运作 的 情形 都 归纳 为 运行? 状态， 并 以 它 为 中 心 分 析 应 用 的 其 他 状态 
与 变迁 。 如 果 测 试 重点 是 应 用 的 业务 逻辑 ， 那 么 测试 人 员 可 以 忽略 图 4- 
16 的 所 有 状态 和 变迁 ， 直 接 深 入 到 “运行 ”状态 中 去 建 模 。 


在 测试 过 程 中 ， 测 试 人 员 可 以 参考 以 下 技巧 [Hendrickson13]， 来 识别 软 
件 状 态 。 


。 如 有 条 软件 展现 了 新 的 界面 ， 允 许 执行 更 多 的 命令 ， 那 么 它 进 入 了 
为 一 个 状态 。 如 图 4-17 所 示 ， 在 PowerPoint 中 选中 一 个 图 片 ， 
Ribbon 界 面 会 显示 新 的 标签 《图片 工具 一 格式 ) ， 人 允许 执行 图 片 
相关 的 命令 。 这 暗示 软件 进入 了 “图 片 编辑 ”状态 。 
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图 4-17 选中 图 片 后 ，Ribbon 显 示 新 标签 





。 如 果 软 件 展现 了 新 的 界面 ， 可 执行 的 命令 变 少 ， 那 么 它 进入 了 另 
一 个 状态 。 在 如 图 4-17 所 示 的 情况 下 ， 点 击 幻灯 片 中 的 文字 ，“ 图 
片 工 具 "标签 会 消失 。 这 暗示 软件 离开 了 “图 片 编辑 "状态 ， 进 入 
了 “文字 编辑 "状态 。 另 一 个 例子 是 ， 在 订单 提交 之 前 ， 用 户 可 以 修 
改 订单 中 的 商品 ， 一 旦 订单 提交 ， 用 户 就 无 法 修改 订单 内 容 。 这 瞳 
示 订 单 从 “未 提交 ”状态 进入 “已 提交 ”状态 ， 触 发 事件 是 “提交 ”。 


如 果 相 同 的 操作 导致 了 不 同 的 结果 ， 那 么 软件 进入 了 力 一 个 状态 
。 例 如 ， 回 一 个 固定 容量 为 5 个 单元 的 空 队列 连续 添加 数据 。 前 5 次 
添加 操作 部 会 成 功 ， 第 6 次 操作 会 于 致 错误。 这 说 明 “ 容 量 耗 尽 ” 古 
一 个 独立 的 状态 。 同 理 ,“ 没 有 数据 ”也 是 一 个 独立 的 状态 ， 因 为 癌 
空 队列 索取 数据 会 导致 错误 。 








。 DI ia RCRA FR, PKS. I I PE 
后 ”“ 在 .…... 之 前 ”的 表述 ， 这 常 第 暗示 软件 处 于 特定 的 状态 。 例 








如 ,，“ 在 订单 提交 后 ， 用 户 不 能 再 增加 或 删除 商品 * 束 暗示 “已 提 
交 ” 是 一 个 状态 。 又 例如 ，Windows 安 装 补 丁 时 会 提示 “正在 更 新 您 
的 系统 ， 请 不 要 关机 ”。 这 上 暗示 “正在 安装 更 新 ”一 个 重要 的 状态 。 


如 果 软 件 显示 等 每 提示 符 或 进度 条 ， 那 么 软件 正在 进行 人 项 任 
务 ， 这 段 任务 时 间 可 以 看 作 一 个 状态 。 例 如 ， 局 动 Windows 8 的 
Bing 新 闻 应 用 ， 该 应 用 会 最 示 儿 秒 钟 的 局 动 界面 (如 图 4-18 所 
AN) 。 这 暗示 在 图 4-16 的 “不 在 运行 "? 和 “运行 ”之 间 隐 藏 了 一 个 状 
态 :“ 正 在 初始 化 ”。 发 现 该 状态 后 ， 测 试 人 员 会 考虑 ， 能 不 能 
断 “ 正 在 初始 化 ?状态 ? 如 果 中 断 该 状态 ， 会 不 会 导致 数据 丢失 ? 








图 4-18 Bing 新 闻 的 启动 界面 





除了 识别 状态 ， 测 试 人 员 还 需要 发 掘 隐藏 的 变迁 ， 有 时 新 发 现 的 变迁 会 
揭示 出 新 的 状态 。 以 下 是 一 些 识别 变迁 的 基本 观察 点 [Hendrickson13]。 





用 户 命令 会 触发 变迁 。 例 如 ， 用 户 在 PowerPoint 中 点 击 图 片 ， 能 够 
触发 变迁 ， 使 软件 进入 “图 片 编辑 ”状态 。 


软件 自身 会 触发 变迁 。 例 如 ，Bing 新 闻 应 用 在 启动 时 会 进入 “正在 
初始 化 ”状态 。 如 果 不 被 打 断 ，Bing 新 闻 应 用 会 在 几 秒 内 结束 该 状 
态 ， 进 入 “运行 ?状态 。 


软件 的 外 部 环境 会 触发 变迁 。 在 图 4-16 中 ， 当 应 用 处 于 “已 挂 

起 ”状态 时 ， 操 作 系 统 可 能 触发 “终止 ?事件 ， 使 应 用 进入 “已 终 

止 ?状态 。 另 一 个 例子 是 ， 用 户 使 用 智能 手机 的 GPS 导航 软件 来 畏 

助 驾 驶 。 当 他 驾车 通过 隧道 时 ，GPS 信 号 可 能 中 断 ， 于 是 导航 软件 

会 进入 一 个 特殊 的 状态 。 当 他 驶 出 隧道 时 ，GPS 信 和 号 恢复 ， 导 航 软 

人 
FAE 


时 间 会 触发 变迁 。 例 如 ， 某 软件 查询 数据 库 ， 碍 询 操作 的 超时 是 
30 秒 。 如 果 该 查询 的 执行 时 间 超 过 30 秒 ， 那 么 查询 所 调用 的 数据 库 
API 会 抛 出 异常 ， 导 致 查询 中 断 。 从 状态 机 的 角度 ， 这 是 超时 事件 
导致 软件 状态 变迁 。 再 例如 ， 许 多 软件 会 使 用 定时 器 ， 周 期 性 〈 如 
每 周 、 每 天 、 每 小 时 ) 地 局 动 计算 任务 。 开 始 计算 、 结 束 计算 和 计 
算 产 生 的 后 果 都 可 能 触发 变迁 。 











由 以 上 讨论 不 难看 出 ， 构 建 完 整 的 自动 机 模型 并 非 轻 而 易 举 。 训 试 人 员 


=e 
需要 


迁 。 


探索 软件 来 发 现状 态 和 变迁 ， 并 利用 新 发 现 去 发 掘 更 多 的 状态 和 变 
这 样 的 探索 与 用 现 之 旅 本 身 吏 是 很 好 的 测试 。 当 测试 人 员 从 各 个 角 





度 和 尝试 触 发 变迁 ， 软 件 会 经 历 多 项 考验 ， 一 些 隐藏 的 错误 整 会 其 嚣 出 


> 
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在 整个 建 模 过 程 中 ， 测 试 人 员 可 以 考虑 如 下 集 略 来 加 速 探索 和 测 


使 用 出 租车 漫游 和 出 租车 茶 区 漫游 [Whittaker09] 来 发 现 更 多 的 状态 
和 变迁 。 出 租车 漫游 要 求 测试 人 员 用 不 同 的 路 线 来 达到 同一 个 目 

标 。 利 用 该 隐喻 ， 测 试 人 员 需 要 发 现 到 达 《 或 离开 ) 茶 个 状态 的 所 
有 变迁 及 触发 事件 。 出 租车 禁区 慢 游 要 求 测试 人 员 答 试 多 种 路 线 以 
前 往 不 允许 的 区 域 。 利 用 该 隐喻 ， 测 试 人 员 应 该 瞄准 一 个 很 难 达 到 
的 状态 ， 通 过 各 种 手段 去 构造 一 条 或 多 条 状态 变迁 路 径 ， 以 到 达 该 











状态 。 


。 因为 状态 图 是 一 种 联通 图 ， 状 态 和 变迁 构成 了 一 组 路 径 ， 所 以 测试 
人 员 可 以 参考 MichaelBolton 针 对 路 径 提 出 的 测试 指导 词 (参见 4.2.3 
节 ) ， 通 过 构造 最 简 的 、 常 用 的 、 关 键 的 、 复 杂 的 、 病 态 的 、 挑 战 
的 路 径 来 测试 系统 。 在 遍历 路 径 时 ， 要 考察 错误 人 处理、 故障 恢复 、 
周期 性 事件 、 间 际 性 事件 等 因素 对 状态 机 的 有 影响。 对 于 复杂 的 状态 
图 ， 可 能 的 路 径 是 海量 的 。 在 设计 路 径 时 ， 要 基于 领域 知识 和 产品 
风险 ， 来 选择 有 淤 力 发 现 错误 的 路 径 。 


程序 员 在 编写 代码 时 ， 常 常会 忽略 一 些 可 能 发 生 的 事件 ， 从 而 导致 
软件 不 能 应 对 复杂 的 应 用 情景 。 为 此 ， 测 试 人 员 需 要 针对 每 一 个 状 
态 ， 考 虑 打 断 该 状态 会 不 会 导致 故障 [Hendrickson13]。 例 如 ， 当 用 
户 离开 一 个 Windows 8 应 用 时 ， 操 作 系 统 会 给 该 应 用 5 秒 的 时 间 去 执 
行 清理 工作 (通常 是 保存 用 户 数据 和 程序 状态 )。5 秒 之 后 ， 无 论 
清理 工作 是 否 结束 ， 操 作 系 统 都 会 挂 起 该 应 用 。 如 果 此 时 清理 工作 
还 没有 完成 ， 用 户 数 据 可 能 会 丢失 。 为 此 ， 测 试 人 员 需 要 对 每 个 业 
务 状态 触发 “ 挂 起 ”事件 ， 来 测试 应 用 能 否 在 5 秒 内 完成 清理 工作 。 

再 例如 ， 一 款 智能 手机 软件 提供 了 录音 功能 。 当 用 户 正 在 用 它 录 音 
时 ， 一 通电 话 拨 入 ， 智 能 手机 自动 切换 到 通话 界面 。 此 时 录音 状态 
被 中 断 ， 电 话 之 前 的 录音 可 以 被 正确 保存 吗 ? 电话 结束 后 ， 软 件 能 
否 自动 恢复 到 录音 状态 ， 继 续 录音 ? 


当 测 斌 人员 获 得 一 个 相对 完整 的 状态 图 后 ， 他 可 以 将 其 转化 为 状态 
表 [Hendrickson13]。 例 如 ， 表 4-6 是 图 4-16 对 应 的 状态 表 ， 第 一 列 是 
源 状态 ， 第 一 行 是 触发 事件 ， 表 的 内 容 是 源 状态 在 触发 事件 作用 下 
变迁 到 的 目标 状态 。 表 中 有 一 些 空白 单元 格 ， 说 明 状 态 图 没有 阐述 
相应 的 源 状态 和 触发 事件 的 行为 。 测 试 人 员 应 该 检查 这 些 模型 表述 
上 的 空白 的 实际 影响 。 在 源 状态 下 触发 事件 会 及 生 吗 ?这 对 源 状态 
和 触发 事件 会 导致 软件 故障 吗 ? 


表 4-6 用 状态 表 来 表示 状态 机 
































简 而 言 之 ， 构 建 和 运用 状态 机 模型 可 以 帮助 测试 人 员 更 好 地 理解 软件 的 
运行 机 制 ， 更 好 地 把 握 软 件 与 外 界 的 交互 。 这 不 但 有 助 于 探 完 软件 的 细 








节 ， 还 可 以 更 全 面 地 测试 软件 在 不 同情 景 下 的 行为 。 
42.6 ”多 种 多 样 的 模型 


在 软件 测试 中 ， 可 选 的 测试 模型 是 多 种 多 样 的 。 本 书 第 3 章 就 介绍 了 几 
种 有 价值 的 测试 模型 。 


e Google ACC (3.2.2 节 ) 针对 产品 的 属性 、 部 件 和 能 力 建立 测试 模 
型 ， 让 测试 设计 聚焦 于 对 用 户 最 有 价值 的 情景 。 此 外 ， 利 用 能 力 冠 
阵 的 热点 图 ， 测 试 人 员 可 以 快速 识别 产品 的 高 风险 区 域 ， 以 针对 风 
险 投 入 测试 资源 。 


。 功能 列表 (3.2.40) 是 一 种 常见 的 功能 测试 模型 。 它 用 层次 结构 列 
举 了 产品 的 功能 ， 既 抽象 出 主要 功能 区 域 ， 又 提供 了 必要 的 细 市 。 
利用 功能 列表 ， 测 试 人 员 可 以 逐步 及 展 测 试 设计 ， 并 周密 地 和 窗 广 产 
品 的 功能 。 


。 Fit 表 格 〈3.2.6 节 ) 用 具体 的 测试 用 例 诠释 了 业务 规则 。 它 让 业务 分 
析 师 的 业务 知识 以 自动 化 测试 的 形式 传递 给 测试 人 员 和 程序 员 ， 从 
而 使 开发 流程 更 加 顺畅 。 


。 质量 列表 (3.2.99) 提示 测试 人 员 从 多 个 方面 考虑 产品 的 质量 ， 分 
析出 值得 重点 测试 的 质量 特性 。 


软件 产品 是 高 度 复 杂 的 ， 任 何 模型 只 能 描述 它 的 一 个 局 部 。 因 此 ， 测 试 
人 员 需 要 多 种 模型 ， 从 不 同 角 度 考 察 软件 。 测 试 专家 Rikard Edgren 认 为 
可 视 化 地 表达 头脑 中 的 模型 能 够 帮助 测试 设计 ， 切 换 多 个 模型 能 够 产生 
差异 化 的 测试 想法 [Edgren12]。 














如 图 4-19 所 示 ，Edgren 的 测试 对 象 是 他 开发 的 示例 软件 “完美 年 龄 计算 
右 ”， 当 用 户 输 入 生日 字符 串 ， 它 会 输出 生日 所 对 应 的 年 龄 。Edgren 指 
出 该 用 户 界 面 是 测试 人 员 可 利用 的 第 一 个 模型 。 针 对 该 模型 ， 测 试 人 员 
可 以 快速 产生 一 批 测试 想法 。 





Perfect Age Calculator 











URL 


图 4-19 模型 一 : ERER TT ae” AP FP 
测试 窗 体 : BIAS AT ARE BM. BK. RAINS? 


ae : 输入 框 可 以 接纳 多 少 字 符 ?” 输入 框 如 何 处 理 错误 的 
mA? 


测试 “运行 ”按钮 ， 点 击 该 按钮 ， 软 件 可 以 给 出 正确 的 计算 结果 
吗 ? 如 果 输 入 框 为 室 ， 扣 击 该 按钮 会 及 生 什 么 ? 


测试 “<URL” 按 钮 : 点 击 该 按钮 ， 软 件 可 以 打开 正确 的 URL 地 址 
吗 ? 


随后 ，Edgren 给 出 了 第 二 个 测试 模型 。 如 图 4-20 所 示 ， 该 模型 对 时 间 建 


模 ， 将 时 间 线 划分 成 很 和 以前、 现代 时 间 、 现 在 和 未 来 。 利 用 该 模型 ， 
测试 人 员 可 以 构造 四 类 日 期 输入 ， 以 测试 软件 对 年 龄 的 计算 。 


TREE 
图 4-20 模型 二 : 时 间 线 


Edgren 的 第 三 个 模型 是 对 时 间 线 模型 的 细 化 ， 其 结果 如 图 4-21 所 示 。 这 
是 一 个 很 有 价值 的 模型 ， 可 以 复 用 于 其 他 时 间 相关 的 测试 。 








。 该 模型 提示 测试 人 员 考 虑 计算 机 可 以 表达 的 “时 间 的 开始 点 ”和 “时 
闻 的 结束 点 >”。 对 于 .NET 程 序 ，.NET 内 建 类 型 System.DateTime 的 时 
间 范 围 是 [“1/1/0001 12:00:00 AM”, “12/31/9999 11:59:59 PM”].. jill 
试 人 员 可 以 测试 这 两 个 边界 值 ， 并 测试 早 于 “开始 时 间 ” 的 时 间 点 和 
晚 于 “结束 时 间 ” 的 时 间 点 。 如 果 程 序 员 设 计 了 新 的 时 间 类 型 ， 测 试 
人 员 可 以 针对 该 类 型 的 边界 进行 测试 。 


。 该 模型 提示 “ 国 年 "和 “ 国 日 ”是 特殊 时 间 上 把， 值得 测试 人 员 考 虑 。 
。 该 模型 提示 今年 、 本 月 、 今 日 是 特殊 时 间 点 ， 值 得 测试 人 员 考 虑 。 











每 4 年 的 2 月 29 日 
(1600 | 
Bey ee 
3 
时 间 的 结束 点 — 


图 4-21 模型 三 ， 详细 的 时 间 线 


第 四 个 模型 针对 日 期 字符 串 ， 将 其 划分 为 年 、 月 、 日 三 部 分 ， 分 别 设计 
测试 想法 。 详 细 模 型 请 参考 图 4-22。 
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图 4-22 ØA: “年 、 月 、 日 ”的 字符 串 表 示 


时 间 的 字符 串 表 示 








。“ 年 ”的 字符 串 表达 : 公元 前 的 年 份 、 两 位 数字 、19xx、20xx、 五 
位 数字 。 


。“ 月 ”的 字符 串 表 达 : 本 月 、1~12、 无 效 数 字 、 无 效 字 符 串 。 


e。 “日 > 的 字符 串 表 达 : 今日 、1~28/29/30/31、 无 效 数 字 、 无 效 字 符 
FE 。 


随后 ，Edgren 从 实现 的 角度 分 析 了 软件 ， 给 出 了 如 图 4-23 所 示 的 技术 尝 
模型 。 利 用 该 模型 ， 测 试 人 员 可 以 从 实现 的 角度 设计 测试 。 





图 4-23 模型 五 ， 技术 流 


。 字符 串 到 日 期 的 转化 : 软件 可 以 处 理 无 效 的 字符 串 吗 ? 软件 可 以 
处 理 本 地 化 的 日 期 字符 串 吗 〈 如 中 文 日 期 字符 串 “ 二 零 一 三 年 一 月 


一 日 ?>) ? 软件 可 以 处 理 全 角 和 半角 字符 吗 ? 

获得 当前 日 期 : 软件 如 何 获 得 当前 日 期 ? 软件 使 用 本 地 时 间 ， 还 
是 UTC 时 间 ? 

时 差 计 算 〈 今 天 -日 期 ) : 软件 用 何 种 数据 类 型 记录 时 差 ? 该 计 
算 会 导致 整数 溢出 吗 ? 

结果 报告 : 软件 如 何 将 时 差 数 据 转 化 成 年 龄 字符 串 ? 软件 如 何 报 
告 用 户 输 入 的 错误 ?软件 如 何 报告 计算 过 程 中 发 生 的 错误 ? 


最 后 ，Edgren 用 思维 导 图 对 质量 特性 进行 建 模 ， 具 体 模 型 请 参考 图 4- 
24。 该 模型 剪裁 自 The Test Eye 发 布 的 软件 质量 特性 集 [TheTestEyel1] 
(参见 3.2.9 节 ) ， 将 测试 思考 聚焦 于 “完美 年 龄 计算 器 ”适用 的 质量 特性 
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图 4-24 模型 六 : 质量 特性 


在 以 上 讨论 中 ，Edgren 针 对 一 款 简单 软件 ， 创 建 了 6 个 模型 。 面 对 复杂 
的 软件 ， 测 试 人 员 会 创建 更 多 的 模型 。 许 多 测试 模型 只 是 存在 于 测试 人 
员 的 头脑 中 ， 并 没有 记录 下 来 。 有 时 ， 这 是 合理 做 法 ， 因 为 记录 模型 需 
要 花费 时 间 ， 直 接 使 用 简单 的 模型 可 以 更 快速 地 测试 。 有 时 ， 可 视 化 头 
脑 中 的 模型 是 更 好 的 策略 ， 它 可 以 从 以 下 几 个 方面 促进 更 好 的 测试 。 


。 记录 模型 可 以 帮助 模型 的 演化 ， 简 单 的 模型 在 测试 过 程 中 会 发 展 
成 丰富 的 模型 。 例 如 ， 图 4-20 的 时 间 线 模型 发 展 出 图 4-21 的 详细 时 
间 线 模型 和 图 4-22 的 年 月 日 模型 。 























。 一 些 测试 模型 可 以 应 用 于 多 个 测试 对 象 和 产品 ， 记 录 并 复 用 这 些 
模型 能 够 提高 测试 效率 。 例 如 与 时 间 有 关 的 测试 设计 都 可 以 参考 
图 4-21 的 详细 时 间 线 模型 。 


。 将 模型 记录 下 来 ， 可 以 将 它 分 诗 给 测试 小 组 。 这 不 但 有 利于 知识 
T ersten E 


。 用 纸 笔 、 思 维 导 图 软件 等 工具 ， 测 试 人 员 可 以 灵活 地 记录 模型 。 
只 要 付出 很 短 的 时 间 ， 就 能 收获 有 价值 的 模型 。 


统计 学 家 George Box 曾 说 过 : “本 质 上 ， 上 所 有 模型 都 是 错 的 ， 但 是 有 些 
是 有 用 的 。”[WikipediaGEPB12]。 这 和 句 被 广泛 引用 的 名 言 道 出 了 建 模 的 
真 诺 。 从 测试 建 模 的 角度 ， 这 人 句 话 有 3 个 方面 的 意义 。 


第 一 ， 所 有 的 模型 都 是 对 软件 的 简化 ， 是 片面 的 、 不 完整 的 。 如 宋 测试 
人 员 只 使 用 单一 的 模型 或 少数 几 种 模型 ， 他 会 遭遇 认 知 偏差 ， 从 而 错过 
重要 的 测试 策略 ， 并 导致 缺陷 遗漏 。 测 试 人 员 需 要 用 多 个 模型 去 分 析 软 
件 ， 从 而 产生 周密 的 、 多 样 化 的 测试 想法 。 


第 二 ， 正 因为 模型 总 是 不 完整 的 ， 测 试 人 员 不 必 退 求 “ 完 美的 模型 >。 他 
应 该 更 注重 模型 的 实用 性 ， 更 多 地 考虑 模型 能 否 提 供 好 的 测试 想法 。 


第 三 ， 在 注重 实用 性 的 前 提 下 ， 测 试 人 员 需 要 发 现 并 消除 模型 的 错误 。 
在 团队 中 分 享 模型 并 收集 反馈 意见 是 一 个 很 好 的 方法 。 此 外 ， 他 也 应 该 
用 模型 指导 测试 过 程 ， 同 时 让 测试 过 程 
来 优化 模型 。 























4.3 


本 章 


小 结 
介绍 了 测试 建 模 的 重要 性 ， 并 介绍 了 一 些 常 用 的 测试 模型 。 


无 论 测 斌 人员 是 否 有 意识 地 建 模 ， 任 何 测试 都 基于 模型 。 然 而 ， 认 
真 去 构建 好 的 模型 ， 将 提高 测试 过 程 的 质量 。 


测试 建 模 的 基本 任务 是 建立 被 测 对 象 的 模型 ， 以 帮助 理解 软件 和 设 
计 训 试 。 

纯粹 的 “通用 模型 ?远离 业务 领域 和 设计 实现 ， 需 要 做 “因地制宜 ”的 
改良 ， 才 能 发 挥 作用 。 改 民 的 基本 方法 是 使 用 业务 需求 、 产 品 元 
素 、 项 目 环境 的 信息 去 丰富 和 调整 模型 。 

构建 模型 再 要 简化 和 聚焦 ， 使 用 模型 需要 扩展 和 发 散 。 

好 的 测试 模型 必须 经 过 测试 迭代 的 济 炼 。 

“本 质 上 ， 所 有 模型 都 是 错 的 ， 但 是 有 些 是 有 用 的 。” 

不 要 追求 完美 的 模型 ， 要 创建 注重 实效 的 模型 。 模 型 是 测试 设计 的 
工具 ， 好 的 模型 将 有 力 文 持 测试 设计 。 


不 要 依赖 单一 的 模型 ， 要 综合 多 个 模型 ， 以 避免 认 知 俩 着 。 不 要 完 
全 信赖 任何 模型 ， 要 通过 测试 去 质疑 并 改进 模型 。 


启发 式 测试 策略 模型 HTSM 是 一 个 指导 测试 设计 和 风险 分 析 的 概念 
框架 ， 测 试 人 员 需 要 根据 项 目 语 境 对 其 进行 裁 前 和 丰富 。 

在 测试 中 ， 功 能 列表 (针对 软件 能 力 ) 、 输 入 与 输出 模型 〈 针 对 软 
件 与 外 界 的 交互 ) 、 系 统 生 态 图 (针对 软件 结构 ) 、 实 体 关 系 模型 
(针对 数据 关系 ) 、 状 态 机 模型 (针对 软件 状态 ) 、 质 量 特性 列表 
(针对 多 样 化 的 质量 ) 等 是 常见 的 测试 模型 。 

测试 人 员 可 以 针对 特定 领域 或 测试 对 象 开发 出 多 种 多 样 的 模型 。 


条 件 分 析 是 一 种 启发 测试 思路 的 常见 方法 。 


















































第 5 草 测试 技术 


如 果 说 测试 是 为 了 发 现 错误 而 执行 程序 的 过 程 ， 那 么 测试 拉 术 就 是 运行 
程序 并 判断 其 对 错 的 具体 方法 。 高 效 的 测试 要 求 测试 人 员 根 据 软 件 产品 
和 项 目 环 境 选 择 合适 的 测试 技术 ， 并 灵活 机 动 地 加 以 运用 。 假 如 测试 人 
员 只 掌握 少数 几 种 测试 技术 ， 那 么 他 很 难 作 出 合理 的 选择 ， 也 很 难 用 多 
样 化 的 测试 来 调查 复杂 的 软件 。 为 了 高 质量 地 完成 测试 任务 ， 测 试 人 员 
需要 在 工作 中 持续 学 习 测试 技术 ， 分 析 它 们 的 长 处 、 不 足 和 适用 情况 ， 
以 逐渐 完善 目 己 的 测试 技术 体系 。 


本 章 首 先 介绍 一 个 测试 搁 术 分 类 系统 ， 以 概 哎 各 类 测试 技术 。 然 后 ， 面 
回 测 试 设计 和 执行 讨论 一 批 有 价值 的 测试 技术 。 




















51 测试 技术 分 类 系统 


本 节 介 绍 Cem Kaner 教 授 建立 的 测试 技术 分 类 系统 [Kaner01][Kaner11]。 
as 的 发 展 ， 比 较 成 熟 ， 对 测试 技术 的 理解 和 选择 很 
EHH 


Cem Kaner 认 为 测试 技术 会 从 7 个 方面 对 测试 过 程 进行 指导 。 


范围 : 测试 的 对 象 。 例 如 ， 功 能 测试 的 测试 对 象 通常 是 一 个 具体 
的 功能 或 特性 。 


Fm: 测试 的 程度 。 例 如 ， 如 果 测 试 时 间 很 有 限 ， 测 试 人 员 通 当 
只 能 测试 一 个 功能 的 主要 场景 ， 如 果 测 试 时 间 充 裕 ， 他 会 测试 更 多 
的 场景 和 操作 方式 ， 以 扩大 测试 缆 兽 。 通 币 ， 训 试 人 员 会 统一 考 碟 
MIARKI ch FA Az ah.» 


测试 者 : 由 谁 来 执行 测试 。 例 如 ， 许 多 软件 厂商 提供 Beta 版 本 供用 
户 试用 ， 以 便 收 集 他 们 对 早期 版 本 的 意见 。 对 于 Beta 测 试 ， 其 测试 
执行 者 束 是 软件 试用 者 。 


风险 : 测试 要 去 发 现 的 潜在 问题 。 例 如 ，Google ACC 所 重点 侦 测 
的 风险 是 产品 的 功能 不 能 提供 有 竞争 力 的 特性 。 


活动 : 测试 如 何 执 行 。 例 如 ， 两 因素 组 合 测 试 规定 测试 用 例 集 要 
履 畜 任意 两 个 因素 的 取 值 组 合 。 


评估 和 测试 先知 : 如 何 评价 测试 是 否 通 过 。 例 如 ， 测 试 人 员 会 使 
用 软件 的 先前 版 本 来 判断 软件 的 行为 是 否 向 后 兼容 。 


结果 导 同 : 测试 的 目标 。 例 如 ，BVT (build verification testing) 的 
日 标 是 检查 构建 是 人 否 足 够 稳定 可 用 于 更 大 范围 的 测试 。 


任何 测试 活动 都 会 涉及 以 上 所 有 方面 ， 而 一 个 具体 的 测试 搁 术 通常 只 着 
力 于 其 中 的 1~3 项 。 例 如 ， 组 合 测 试 算法 只 讨论 如 何 生 成 测试 输入 数 

据 ， 即 只 窗 盖 了 “活动 * 的 一 部 分 ， 对 于 其 他 方面 没有 讨论 。 为 了 应 用 测 
试 技术 ， 测 试 人 员 不 但 要 知晓 它 解决 了 哪些 问题 ， 更 要 了 解 它 没有 解决 
哪些 问题 。 在 实际 测试 中 ， 测 试 人 员 需 要 根据 项 目 语 境 ， 补 上 相应 的 空 
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利用 以 上 测试 驱动 因素 ，Cem Kaner 建 立 了 一 个 六 要 素 测试 分 类 系统 。 
因为 许多 技术 考虑 了 多 个 驱动 因素 ， 所 以 它们 会 属于 多 个 分 类 。 这 提示 
测试 人 员 要 多 角度 地 考虑 测试 技术 ， 选 择 适 合 当前 任务 的 切入 点 去 应 用 
它们 。 以 下 是 该 测试 分 类 系统 的 六 大 分 支 。 


第 一 ， 基 于 履 盖 的 测试 技术 关注 测试 的 范围 和 禾 盖 。 典 型 的 测试 技术 
如 下 。 


功能 测试 : 履 兰 产品 的 功能 。 
功能 或 特性 的 集成 测试 : 履 盖 功能 之 间 的 交互 。 


漫游 测试 : 其 基本 保 略 是 搜索 产品 的 一 个 区 域 ， 并 收集 相关 信息 
(5.4 节 将 介绍 漫游 测试 ) 。 这 通 闻 要 求 履 盖 指 定 的 一 组 测试 对 

















等 价 类 分 析 : Am GINS. 
边界 测试 se BID IME AQ K ER 


最 佳 代 表 测 试 ， 要 求 从 众多 测试 用 例 中 选择 最 有 代表 性 的 测试 用 
例 ， 和 常见 的 例子 包括 用 户 最 可 能 使 用 的 数据 、 给 产品 最 大 挑战 的 数 
据 、 最 能 暴露 风险 的 数据 等 。 


域 测 试 ;从 一 个 数值 集合 中 选择 测试 输入 数据 ， 等 价 类 分 析 和 边 
界 测试 是 典型 的 域 测 试 技术 。 如 果 穷 尽 测 试 不 可 行 ， 那 么 域 测 试 要 
选择 出 典型 的 测试 数据 ， 然 后 分 别 加 以 宪 盖 。 


测试 想法 目录 : 包括 测试 想法 列表 、 质 量 特 性 列表 、 缺 陷 目 录 等 
局 发 式 想 法 集合 。 训 试 人 员 要 依次 检查 每 个 想法 ， 选 择 合适 的 想法 
来 设计 具体 的 测试 。 
BHRAN: 乾 关 逻辑 表达 式 的 所 有 可 能 输入 。 


多 变量 测试 : 使 用 东 种 上 覆盖 标准 去 测试 多 个 变量 的 取 值 组 合 ， 组 
合 测 试 是 一 种 多 变量 测试 技术 参见 4.1.1 节 )。 

















。 状态 变迁 测试 : 宪 盖 状态 机 中 所 有 的 变迁 参见 4.2.5 证 )。 

。 用 户 界 面 测试 : 宪 盖 所 有 用 户 可 访问 的 界面 元 系 。 

” 莹 于 规格 况 明 的 测试 : 检 枉 规格 说 明 的 所 有 陈 诉 得 到 正确 地 实 
现 。 


。 基于 需求 的 测试 : 检查 所 有 需求 被 正确 地 实现 。 
。 依从 性 测试 : 检查 软件 符合 所 有 需要 满足 的 法 律 和 约定 。 
。 配置 测试 : 履 瘟 所 有 或 典型 的 软 便 件 配置 组 合 。 


。 本 地 化 测试 : AA RAT oR, TR. HW 
格式 、 货 币 格式 、 字 符 集 等 。 


第 二 ， 基 于 测试 者 的 测试 技术 关注 谁 来 执行 测试 。 


。 用 户 测试 ， 让 实际 用 户 测试 产品 。 通 常 ， 测 试 人 员 与 用 户 一 起 工 
作 ， 收 集 用 户 发 现 的 缺陷 和 提出 的 意见 。 


。 Alpha 测 试 ;让 产品 的 早期 用 户 〈 通 常 是 公司 同事 ) 试用 产品 。 


e Beta 测 试 ， 让 一 批 实际 用 户 测 试 产品 。 测 试 人 员 不 与 用 户 共同 测 
试 ， 但 会 分 析 用 户 提 交 的 缺陷 。 

。 缺陷 大 扫除 : 邀请 项 目 团 队 的 所 有 人 员 参 与 测试 ， 旨 在 让 不 同 的 
人 通过 不 同 的 视角 来 检查 软件 ， 从 而 在 短 时 间 内 缺陷 大 扫除 通常 
持续 1~2 天 ) 发 现 大 量 的 缺陷 。 

。 专家 测试 : 邀请 领域 专家 和 测试 人 员 结 对 测试 。 


。 结对 测试 ;让 测试 人 员 和 测试 人 员 结 对 、 测 试 人 员 和 程 友 员 结 
对 ， 从 而 产生 更 多 差异 化 的 测试 想法 。 


。 内 部 试用 : 让 项 目 团队 在 日 常 工 作 中 使 用 自己 开发 的 产品 ， 从 而 
尽早 发 现实 际 用 户 会 遇 到 的 问题 。 


。 本 地 化 测试 : 让 熬 悉 目标 市 场 文化 的 人 来 测试 软件 。 例 如 ， 





























Microsoft Word 团 队 的 成 员 来 目 五 湖 四 海 。 团 队 领导 通 常会 安排 来 
目 中 国 的 员工 执行 Word 中 文 版 和 中 文 输入 法 的 专项 测试 。 


第 三 ， 基 于 风险 的 测试 技术 关注 潜在 问题 。 
。 边界 测试 : 其 关注 的 是 软件 在 处 理 边 界 值 时 很 可 能 出 错 的 风险 。 


。 快速 测试 : 一 组 很 轻便 的 测试 方法 ， 针 对 一 组 典型 的 软件 错误 实 
施 攻击 《〈5.5 节 将 介绍 快速 测试 ) 。 


。 约束 测试 : 利用 输入 约束 、 输 出 约束 、 计 算 约 束 和 数据 约束 对 软 
件 进行 测试 。 这 些 约束 往往 涉及 软件 能 力 的 边界 ， 会 暴露 软件 的 不 
足 〈5.3.3 节 将 介绍 约束 检查 ) o 


。 逻辑 表达 式 ; 关注 多 个 条 件 变量 的 组 合 ， 以 检查 软件 能 人 否 处 理 一 
些 罕见 的 情况 。 


。 压力 测试 : 关注 软件 如 何 应 对 远 远 超过 正常 工作 量 的 负荷 ， 此 时 
一 些 隐 藏 的 缺陷 很 可 能 会 骏 露 。 


。 负载 测试 : 关注 软件 能 否 有 效 地 使 用 资源 去 处 理工 作 负 载 。 其 针 
对 的 风险 是 软件 不 能 合理 地 使 用 资源 ， 当 工作 负载 还 没有 到 达 预 期 
上 限时 ， 它 已 经 占用 了 太 多 的 资源 ， 且 处 理 速度 变 得 很 慢 。 


o 性 能 测试 :关注 软件 能 否 在 可 接受 的 时 间 内 完成 计算 任务 。 其 针 
对 的 风险 是 软件 的 反应 速度 不 能 满足 用 户 的 期 望 。 


。 基于 历史 的 测试 : 要 求 测试 人 员 分 析 先 前 版 本 中 所 发 现 的 错误 ， 
识别 出 可 能 再 次 复 现 的 缺陷 ， 利 用 它们 去 设计 测试 。 其 针对 的 风险 
古 程序 员 会 犯 同样 的 错误 ， 或 者 条 些 缺 陷 描 述 了 业务 或 技术 面临 的 
根本 性 困难 ， 很 难 彻底 解决 。 


。 基于 风险 的 多 变量 测试 : 从 风险 的 角度 测试 多 个 变量 的 取 值 组 
合 。 例 如 ，4.1.2 市 在 测试 Word 的 遍 级 对 话 框 时 ， 建 议 测 试 默 认 设 
置 和 只 更 改 了 一 个 配置 项 的 设置 ， 因 为 它们 更 贴近 用 户 的 使 用 情 
O ERDRE KHP RBH 


。 可 用 性 测试 : 检查 软件 是 否 容易 学 习 和 使 用 。 其 关注 的 风险 是 粳 
糙 的 软件 设计 让 用 户 感到 挫折 ， 以 致 他 们 会 使 用 竞争 对 手 的 产品 。 





























。 配置 和 兼容 性 测试 :检查 软件 在 不 同 软 硬件 平台 上 的 表现 ， 所 针 
对 的 风险 是 产品 可 能 在 茶 些 平 侣 上 失败 。 

互 操作 性 调试 : 检查 软件 与 相关 系统 的 交互 。 因 为 儿 个 系统 通 般 
由 不 同 的 团队 开发 ， 他 们 对 交互 协议 可 能 有 不 同 的 解读 ， 所 以 系统 
交互 总 是 会 骏 露 出 各 种 复杂 的 问题 。 


长 序列 测试 : 反复 且 随 机 地 运行 一 组 测试 用 例 。 因 为 测试 序列 漫 
长 且 颖 兰 面 广 ， 它 可 能 骏 露 内 存 污 漏 、 竞 态 条 件 、 巧 挂 指针 等 问 


题 。 
第 四 ， 基 于 活动 的 测试 技术 关注 如 何 执 行 测 试 。 


游击 测试 : 测试 人 员 在 固定 的 时 间 盒 内 ， 对 软件 的 特定 区 域 实施 
基于 风险 的 测试 。 


两 因 系 组 合 测试 : 训 试 人 员 需 要 生成 符合 两 因 和 又 组 合 缆 再 标 准 的 
测试 数据 。 通 第 测试 人 员 会 利用 组 合 测 试 工具 生成 测试 数据 。 


随机 测试 : 利用 随机 数 生 成 器 去 产生 训 试 数据 、 安 排 测试 顺序 或 
选择 测试 对 象 。 


根据 用 例 或 序列 图 来 设计 测试 序列 ， 以 禾 兰 软 件 的 操 
FAI 


情景 测试 : 创建 一 个 或 一 组 故事 来 测试 软件 在 故事 场景 中 的 表 
现 。 


安装 测试 :在 不 同 的 平台 上 安 沪 和 弛 载 软件 ， 并 检查 操作 结果 。 
回归 测试 :运行 已 有 的 测试 用 例 来 再 次 测试 相同 的 功能 。 


长 序列 测试 : 要求 测试 整 晚 运行 或 持续 几 天 ， 以 友 现 一 些 短 时 间 
测试 不 能 发 现 的 问题 。 


猴子 测试 : 要 求 测试 人 员 构 建 自动 化 测试 程序 ， 来 随机 地 、 持 续 
地 、 上 自动 地 测试 产品 。 例 如 ， 测 试 程序 基于 产品 的 自动 机 模型 和 当 
前 状态 ， 随 机 地 选择 触发 事件 ， 以 触发 状态 变迁 ， 并 持续 欠 代 下 























去 。 在 此 过 程 中 ， 测 试 程 序 会 判断 变迁 是 否 正 确 、 产 品 是 否 出 现 错 
误 。 


性 能 测试 : 要 求 测试 人 员 识 别 用 户 使 用 产品 的 典型 模式 ， 确 定 需 
要 评估 的 性 能 指标 ， 然 后 构造 出 相应 的 测试 流程 去 考察 软件 的 性 
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第 五 ， 基 于 评估 的 测试 技术 关注 如 何 判 断 测 试 通过 。 


功能 等 价 测试 :比较 被 测 软件 的 行为 和 参考 软件 〈 例 如 已 经 发 布 
的 上 一 版 软件 ) 的 行为 。 如 宋 被 测 软件 的 行为 与 参考 软件 不 一 致 ， 
那么 它 很 可 能 出 现 错误 。 


数学 先知 : 根据 数学 规则 判断 测试 结果 的 对 错 。 例如， 三 角 孙 
ae eel rere ee 
法 则 。 


约束 检查 : 根据 一 组 规则 判断 测试 是 否 通 过 。 例 如 ， 测 试 随机 数 
生成 函数 时 ， 测 试 人 员 很 难 判断 每 一 个 输出 是 否 正 确 。 他 可 以 持续 
调用 该 函数 ， 收 集 一 大 批 随机 数 结果 ， 然 后 分 析 这 批 数 据 。 如 果 数 
据 分 布 足够 均匀 ， 不 存在 明显 的 规律 ， 那 么 该 函数 的 质量 丈 较 好 ; 
如 果 数 据 分 布 呈现 出 东 种 规律 ， 以 致 测试 人 员 可 以 预测 下 一 次 输出 
的 取 值 ， 那 么 该 函数 还 需要 改进 。 


目 检 验 数 据 : 包含 可 以 用 于 检验 的 数据 。 例 如 ， 为 了 其 露 对 数据 
的 异 第 修改 ， 测 试 人 员 计 算 了 数据 的 哈 希 值 ， 让 它 随 数据 在 系统 中 
传播 。 每 经 过 一 个 模块 后 ， 测 试 程序 会 重新 计算 数据 的 哈 希 值 ， 并 
本 
改 。 


比较 已 保存 的 结果 : 通过 对 比 前 后 两 个 版 本 产生 的 数据 ， 来 侦 测 
新 版 本 可 能 引入 的 错误 。 


比较 规格 说 明 或 其 他 权威 文档 : 根据 权威 文档 来 判断 软件 的 行为 
是 否 正确 。 


基于 诊断 的 测试 : 会 使 用 软件 的 调试 功能 或 一 些 调试 辅助 工具 。 
当 调 试 功能 锐 打 开 或 辅助 工具 被 局 用 时 ， 这 些 面 向 诊断 的 代码 会 持 

















续 检查 产品 的 状态 。 当 测试 人 员 运 行 测 试 时 ， 它 们 可 以 发 现 产 品 的 
异常 状态 ， 如 内 存 泄 漏 、 句 柄 泄漏 、 未 人 处理 系统 调用 错误 等 ， 并 报 


告 给 测试 人 员 。 
。 可 检验 的 状态 模型 :使 用 测试 人 员 构 建 的 状态 机 为 测试 先知 。 测 
试 程序 调用 软件 接口 ， 以 驱动 状态 变迁 ， 然 后 比较 软件 的 实际 状态 


和 预期 状态 ， 以 检查 可 能 的 错误 。 
第 六 ， 结 果 叶 回 的 测试 技术 关注 于 特定 目标 或 文档 。 


。 构建 检验 : 其 目标 是 判断 当前 构建 是 否 足够 好 ， 能 售 提 供给 测试 
小 组 或 更 广泛 的 用 户 去 测试 。 


。 确认 测试 : 运行 精心 设计 的 确认 测试 用 例 ， 其 目标 古 证 明 软 件 满 
足 预先 定义 的 要 求 。 


。 用户 接受 测试 : 运行 用 户 指定 或 认可 的 一 批 测试 用 例 ， 其 目标 是 
证 明 软 件 达 到 了 用 户 可 接受 的 标准 。 


。 认证 测试 ， 要 求 测试 小 组 提供 证 据 以 表明 产品 或 产品 制造 过 程 满 
足 茶 个 认证 标准 。 


利用 以 上 分 类 系统 ， 测 试 人 员 可 以 判断 一 个 测试 技术 的 驱动 因素 是 什 

么 ， 了 解 它 独眼 于 何 处 、 又 省 略 了 哪些 方面 。 在 学 习 测试 技术 时 ， 训 试 
人 员 可 以 快速 定位 它 在 分 类 系统 中 的 位 置 。 在 选择 测试 技术 时 ， 他 可 以 
同时 运用 来 目 不 同 分 文 的 测试 技术 ， 以 实施 多 样 化 的 测试 。 


Cem Kaner 从 测试 驱动 因素 的 角度 定义 了 测试 分 类 系统 ， 而 测试 专家 

Lisa Chrispin 和 Janet Gregory 从 测试 技术 与 产品 开发 的 角度 提出 了 敏捷 测 

oon 。 如 图 5-1 所 示 ， 他 们 将 测试 技术 划分 到 Q1~Q4 4 个 
限 中 。 


。Q1 : 面向 技术 的 、 文 持 项 目 团队 的 自动 化 测试 ， 例 如 单元 测试 、 
组 件 测 试 等 。 


e Q2: 面向 商业 的 、 文 持 项 目 团队 的 自动 化 和 手工 测试 ， 包 括 功能 
测试 、 样 例 、 用 户 故 事 测试 、 原 型 、 模 拟 等 。 


e Q3: 面向 商业 的 、 考 验 产 品 的 手工 测试 ， 包 括 探 索 式 测试 1 ， 情 景 











测试 、 可 用 性 测试 、 用 户 验收 测试 、Alpha 及 Beta 测 试 等 。 


。Q4 : 面向 技术 的 、 考 验 产品 的 、 使 用 工具 的 测试 ， 例 如 性 能 测 
试 、 负 载 测试 、 安 全 性 测试 、 质 量 特性 测试 等 。 





1 我 不 同意 Lisa Chrispin 和 Janet Gregory 将 探索 式 测试 置 于 Q3 象 限 。 探 索 式 测试 是 一 种 并 行 地 实 
施 测试 学 习 、 测 试 设计 、 测 试 执行 和 结果 评估 的 测试 风格 。 作 为 一 种 测试 思维 方法 ， 它 可 以 指 
导 4 个 象限 的 任何 一 种 测试 技术 的 使 用 。 
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BmI 
图 5-1 敏捷 测试 四 象限 


利用 敏捷 测试 四 象限 ， 测 试 人 员 可 以 快速 理解 测试 技术 在 软件 开发 中 的 
位 置 ， 并 根据 当前 任务 选择 合适 的 测试 技术 。 可 见 ， 掌 握 几 种 测试 分 类 
方法 ， 可 以 帮助 测试 人 员 从 多 个 角度 思考 测 斌 技术， 获得 比较 全 面 的 型 
R, 


52 ”启发 式 方法 


在 分 析 基 体 的 测试 技术 之 前 ， 本 节 将 简介 局 发 式 方法 的 基本 概念 ， 因 为 
本 书 已 经 讨论 或 即将 讨论 的 测试 技术 几乎 都 属于 局 发 式 方法 。 


启发 式 方法 是 指 人 们 在 学 习 、 发 现 、 解 决 问题 时 所 使 用 的 一 种 基于 经 验 
的 方法 [WikipediaHeuristic12]。 在 日 常生 活 中 ， 人 们 常用 经 验 来 处 理 复 
杂 的 现实 问题 。 例 如 ， 去 超市 选 购 牛 奶 ， 货 架 上 的 产品 可 能 有 几 十 种 之 
多 。 为 了 在 几 分 钟 之 内 作出 决定 ， 购 买 者 往往 会 综合 儿 条 经 验 规 则 去 选 
购 。 例 如 价格 高 意味 着 质量 好 、 生 产 日 期 越 近 越 好 、 熟 悉 的 产品 比较 好 
《产品 的 熟悉 程度 有 时 取决 于 广 商 所 投放 的 广告 ) 等 。 这 些 经 验 在 大 多 
数 时候 是 有 效 的 ， 能 够 快速 地 获得 比较 好 的 答案 。 但 是 任何 经 验 都 不 能 
适用 于 所 有 情况 ， 不 假 思 索 地 使 用 它们 ， 会 导致 * 认 知人 往 差 >， 以 致 于 得 
出 错误 的 结论 。 


在 计算 机 领域 ， 启 发 式 方法 被 用 于 获得 接近 最 优 解 的 近似 解 。 计 算 机 领 
域 存在 大 量 的 复杂 问题 ， 研 究 者 对 于 一 部 分 问题 提出 了 算法 ， 能 够 在 可 
接受 的 时 间 获 得 它们 的 最 优 解 。 例 如 ， 计 算 机 科学 家 Edsger Wybe 
Dijkstra 提 出 的 最 短路 径 算法 ， 以 On2) 的 时 间 复 杂 度 计算 出 联通 图 中 两 
点 间 的 最 短路 径 。 对 于 另 一 些 问 题 ， 并 不 存在 多 项 式 时 间 的 最 优 解 计算 
方法 。 对 此 ， 研 究 者 们 提出 了 启发 式 方法 ， 它 们 基于 某 种 简化 的 规则 或 
理论 ， 能 够 迅速 地 搜索 解 空 间 ， 发 现 足够 好 的 解决 方案 。 本 质 上， 启发 
式 方 法 是 一 种 有 风险 的 “捷径 >， 不 能 保证 提供 最 优 解 。 虽 然 在 多 数 情况 
下 它 可 以 提供 近似 解 ， 但 是 有 时 它 会 给 出 很 差 的 答案 。 


在 软件 测评 领域， 测试 人 员 也 面临 高 度 复杂 的 问题 : 如 宋 穷 尽 测 试 是 不 
可 行 的 ， 如 何 从 无 穷 多 的 测试 用 例 中 选择 最 有 代表 性 的 测试 集合 ， 以 友 
现 所 有 的 软件 缺陷 ? 对 于 大 多 数 软件 ， 选 择 最 有 代表 性 的 测试 集合 和 发 
现 所 有 缺陷 是 “不 可 能 任务 ”， 是 无 法 在 有 限时 间 内 完成 的 。 为 此 ， 测 试 
实践 者 基于 思考 和 经 验 提出 了 一 批 指导 测试 设计 、 测 试 执行 和 结果 评估 
的 启发 式 方法 。 例 如 ， 边 界 测试 的 经 验 是 软件 常 第 在 处 理 数值 边界 时 出 
错 ， 等 价 类 分 析 的 经 验 是 等 价 类 中 的 一 个 取 值 可 以 代表 其 他 所 有 取 值 。 
实际 上 ， 局 发 式 方法 一 直 是 测试 实践 的 主流 方法 ， 大 多 数 耳 熟 能 详 的 测 
试 方法 都 基于 某 些 启发 式 的 想法 。 测 试 小 组 通过 使 用 多 种 局 发 式 方法 ， 
可 以 发 现 大 部 分 重要 的 缺陷 ， 以 构建 满足 市 场 要 求 的 “足够 好 ?的 软件 。 















































在 测试 中 ， 启 发 式 方法 针对 复杂 的 测试 问题 提出 了 一 种 简单 的 、 较 可 能 
成 功 的 解决 思路 。 使 用 启发 式 方法 ， 测 试 人 员 可 以 快速 地 采取 行动 ， 在 
实践 中 去 探索 答案 ， 从 而 避免 陷于 无 止境 的 问题 分 析 。 启 发 式 方法 是 语 
境 依赖 的 ， 即 一 种 启发 式 方法 会 在 某 些 环境 中 大 获 成 功 ， 却 在 另 一 些 环 
境 中 不 起 作用 。 因 为 启发 式 方法 有 时 候 会 失败 ， 明 智 的 测试 人 员 不 会 只 
依赖 一 种 或 少数 几 种 启发 式 方法 ， 他 会 综合 运用 多 个 启发 式 方法 。 例 如 
James Bach 所 提出 的 启发 式 测试 策略 模型 用 5 个 方面 、 几 十 个 因素 来 驱 
动 测试 设计 [Bach12] (参见 4.2.1 节 ) ， 又 例如 The Test Eye 发 布 的 文档 讨 
论 了 测试 想法 的 37 个 来 源 [TheTestEye12] 〈 参 见 3.2.8 节 ) 。 此 外 ， 测 试 
人 员 需 要 用 批判 性 思考 来 研究 他 所 使 用 的 每 项 技术 ， 知 晓 它 的 优点 与 不 
足 ， 从 而 在 实际 测试 中 扬长 避 短 [Bach04b]。 而 研究 技术 必 不 可 少 的 一 
环 是 在 测试 实践 中 使 用 它 ， 通 过 实战 来 积累 经 验 与 教训 。 


除了 收集 、 学 习 、 整 理 已 有 的 启发 式 方法 ， 优 秀 的 测试 人 员 还 会 开发 出 
自己 的 启发 式 方法 。 测 试 专家 James Bach 长 期 研究 并 实践 软件 测试 ， 提 
出 过 许多 启发 式 测试 方法 。 他 建议 测试 人 员 在 测试 实践 中 建立 启发 式 方 
法 ， 并 给 出 了 如 下 实施 方案 [Kelly05a]。 

1. 尝试 去 解决 一 个 问题 。 

2. 分 析 问 题 和 解决 方案 ， 识 别 出 问题 的 特征 和 解决 方案 的 模式 。 

3. 深入 研究 所 发 现 的 模式 ， 理 解 它 所 针对 的 问题 ， 明 确 它 的 适用 范围 、 
基本 假设 、 实 施 步 又 、 检 得 方法 、 优 势 与 不 足 ， 从 而 获得 精炼 的 、 可 用 
于 实战 的 启发 式 方法 。 


4. 命名 该 司 发 式 方 法 。 许 多 方法 的 名 字 来 目 于 它们 的 “隐喻 ”， 例 如 漫游 
测试 束 用 “漫游 "来 比喻 测试 过 程 对 于 产品 空间 的 多 历 访问 。 


5. 在 实际 工作 中 ， 使 用 该 局 发 式 方法 ， 并 利用 真实 反馈 来 改进 它 。 
发 现 方法 的 不 足 之 处 ， 并 加 以 完善 。 
更 改 方法 的 名 字 ， 使 名 字 能 够 揭示 方法 的 核心 特征 ， 且 容易 记忆 。 


一 个 局 友 式 方法 要 经 过 多 次 实验 才能 成 熟 。 测 试 人 员 既 要 合理 地 质 
疑 方 法 的 有 效 性 ， 又 要 对 持续 改进 的 结果 抱 有 信心 。 









































此 外 ， 好 的 方法 不 但 需要 反复 磨炼 ， 还 需要 集思广益 。 当 新 方法 比较 成 
熟 时 ， 测 试 人 员 可 以 把 它 分享 给 同事 、 测 试 专家 或 汕 试 社区 。 邀 请 不 同 
的 人 评论 方法 、 收 集 来 自 各 方面 的 意见 ， 有 助 于 发 现 方 法 的 优 缺 点 ， 从 
而 更 有 效 地 改进 和 使 用 。 





5.3 wl A 


所 有 测试 都 离 不 开 测试 先知 ， 它 是 应 用 任何 测试 技术 都 需要 考虑 的 环 
节 。 本 节 首 移 讨论 测 试 先知 的 定义 ， 然 后 介绍 一 组 有 帮助 的 测试 先知 。 


5.3.1 测试 先知 的 定义 


测试 先知 是 一 种 识别 潜在 问题 的 司 发 式 原 则 或 机 制 区 aner10]。 该 定义 和 
常见 的 “测试 先知 是 判断 测试 是 否 通 过 的 方法 ”有 三 把 重 要 区 别 。 


第 一 ， 测 试 先 知 的 任务 是 “识别 潜在 问题 ”。 


所 请 “问题 * 古 降低 软件 质量 的 因素 ， 而 质量 是 对 菜 个 〈 某 些 ) 人 而 言 的 
价值 [Gause89]。 可 见 ,， “问题 * 的 完整 含义 是 “ 某 些 人 的 问题 "?， 是 一 个 主 
观 的 价值 判断 。 为 了 有 效 地 识别 问题 ， 测 试 人 员 需 要 理解 项 目 关 系 人 
客户 、 用 户 、 产 品 经 理 、 程 序 员 、 管 理 人 员 等 ) 对 软件 的 期 望 ， 知 晓 
软件 通过 何 种 途径 为 他 们 服务 。 在 测试 中 ， 他 需要 用 不 同 关 系 人 的 视角 
考 家 软件 ， 来 发 掘 危 害 软件 价值 的 问题 。 如 果 他 只 从 目 己 或 单一 关系 人 
的 角度 考虑 软件 ， 那 么 他 可 能 错过 对 其 他 人 而 言 很 重要 的 问题 。 


我 发 现 我 有 时 会 落 入 一 个 思维 陷阱 ， 即 测试 时 只 考虑 软件 的 行为 是 否 符 
合 产 品 经 理 编写 的 规格 说 明 ， 而 急 略 软件 设计 是 否 真 正 提 高 了 软件 对 用 
户 的 价值 。 这 样 ， 我 可 能 放 过 一 些 符合 规格 说 明 但 值得 改进 的 问题 。 通 
常 ， 有 经 验 的 产品 经 理 可 以 提出 一 个 “是 够 好 ”的 设计 ， 然 而 “优秀 ”的 天 
品 必 须要 经 过 实际 使 用 的 “打磨 ”。 我 发 现 优秀 的 测试 人 员 会 从 用 户 的 角 
度 “ 把 玩 ? 产 品 ， 对 产品 的 设计 和 实现 提出 很 多 的 疑问 或 意见 。 负 责任 的 
产品 经 理 和 程序 员 会 感谢 测试 人 员 的 琢磨 ， 并 认真 思考 他 们 的 提议 。 


第 二 ， 测 试 人 员 不 能 依靠 单一 的 测试 先知 去 判断 测试 是 否 通 过 。 


由 4.2.2 市 关于 软件 输入 与 输出 的 讨论 可 知 ， 软 件 行为 可 能 产生 多 种 输 

出 ， 每 种 输出 都 可 能 隐藏 错误 。 比 如 ， 测 试 一 款 计算 器 软件 ， 当 输 

入 “1+1 时 ， 软 件 返 回 结果 2。 从 数学 运算 的 角度 ， 这 是 正确 的 ， 但 是 该 
计算 操作 可 能 还 隐藏 着 其 他 问题 。 例 如 ， 软 件 显 示 结 果 时 ， 它 的 界面 快 
速 地 闪烁 了 一 下 ， 这 会 引起 用 户 的 不 适 。 再 例如 ， 软 件 用 了 2 秘 钟 的 时 
间 才 返回 计算 结果 ， 这 样 的 运算 速度 破坏 了 用 户 体 验 。 再 例如 ， 每 次 算 






































术 运 算 都 会 泄漏 1MB 内 存 ， 经 过 多 次 计算 后 ， 计 算 喜 进程 将 占据 大 量 的 
内 存 ， 以 致 影响 到 计算 机 性 能 。 可 见 ， 即 便 是 最 简单 的 操作 ， 也 需要 从 
多 个 角度 进行 检查 。 一 个 测试 先知 只 检查 软件 的 特定 方面 ， 能 够 发 现 相 
关 的 缺陷 ， 但 不 能 发 现 所 有 的 问题 。 因 为 测试 人 员 需 要 全 面 调查 软件 的 
质量 信息 ， 所 以 他 应 该 运用 多 种 测试 先知 去 检查 软件 的 行为 。 如 果 他 的 
测试 执行 缺少 某 个 重要 的 测试 先知 ， 那 么 他 很 可 能 错过 一 些 特定 方面 的 


错误 。 


第 三 ， 测 试 和 匈 知 本 质 是 一 种 尼 发 式 方法 ， 它 提供 了 有 效 的 检查 策略 ， 
但 不 能 发 现 所 检查 领域 内 的 所 有 缺陷 。 


正如 编程 小 组 不 能 构建 完美 的 软件 ， 测 试 小 组 也 不 可 能 构造 完美 的 测试 
先知 。 反 过 来 说 ， 如 果 菏 种 方法 可 以 提供 绝对 正确 的 结果 ， 纺 程 小 组 一 
定 会 用 它 来 实现 软件 ， 而 无 需 进 一 步 测试 。 在 真实 项 目 中 ， 训 试 先知 是 
一 种 “捷径 ?”， 它 基于 茶 种 原则 或 机 制 ， 针 对 特定 领域 提出 一 些 测 试想 
法 ， 用 不 完美 但 可 能 成 功 的 策略 去 检查 隐藏 的 缺陷 。 例 如 ， 测 试 数学 函 
数 时 ， 一 种 典型 的 测试 先知 是 检查 函数 在 茶 些 点 或 某 个 区 间 的 返回 值 是 
个 符合 其 数学 性 质 。 该 测试 先知 利用 数学 知识 简化 了 测试 设计 ， 用 有 限 
的 检查 取代 了 穷尽 测试 。 其 不 足 是 它 不 能 检 出 函数 值 在 采样 点 或 采样 区 
间 之 外 的 错误 。 总 之 ， 测 试 人 员 需 要 合理 地 质疑 测试 先知 的 有 效 性 ， 并 
本 
别 能 


简 而 言 之 ， 测 试 先知 是 识别 缺陷 的 启发 式 方法 。 它 不 能 判断 软件 是 售 通 
过 测试 ， 只 能 判断 软件 在 测试 过 程 中 古 否 出 现 明显 的 失败 。 测 试 人 员 和 二 
要 从 不 同 关 系 人 的 角度 ， 设 计 多 个 测试 先知 来 考察 软件 的 行为 。 在 测试 
过 程 中 ， 他 还 需要 持续 关注 并 改进 测试 先知 的 有 效 性 。 唯 有 如 此 才能 避 
免 严重 的 缺陷 遗漏 。 




















5.3.2 FEW HICCUPPS 

FEW HICCUPPS 是 测试 专家 Michael Boltoni James Bach 提 出 的 识别 和 运 
用 测试 先知 的 想法 列表 [Bolton05][Bolton12]。 他 们 建议 测试 人 员 使 用 以 
下 局 发 式 指 导 词 来 检查 被 测 产品 : 


e Familiarity (熟知 ) 








e E xplainability《〈 可 说 明 性 ) 


W ord (世界 ) 


History (72) 


Image (is) 


C omparable Products (可 对 比 的 产品 ) 


C laims (声明 ) 


U ser's Expectations (用 户 期 望 ) 


P roduct itself (产品 本 身 ) 


P urpose (意图 ) 
S tatutes and Standards (法 规 和 标准 ) 


指导 词 “熟知 ?建议 测试 人 员 在 产品 中 搜索 他 熟悉 的 缺陷 模式 。 当 测试 
人 员 刚 接触 一 个 新 产品 时 ， 他 通常 会 利用 已 有 的 经 验 来 寻找 缺陷 。 在 测 
试 过 程 中 ,测试 先知 来 自 于 典型 的 缺陷 和 以 往 的 经 验 。 例 如 ,测试 人 员 
曾经 使 用 极限 值 有 发 现 过 许多 软件 缺陷 ， 于 是 他 在 新 产品 中 搜索 可 以 输入 
数值 的 控件 ， 然 后 尝试 用 最 大 值 、 最 小 值 、 零 等 极限 值 来 考验 软件 。 利 
用 该 测试 策略 ， 他 可 以 快速 地 及 现 一 批 他 熟悉 的 缺陷 ， 并 为 更 深入 的 训 
试 积累 知识 和 人 信心。 不过， 该 测试 集 略 可 能 让 测试 人 员 在 很 长 一 段 时 间 
内 只 关注 特定 类 型 的 缺陷 ， 而 忽视 了 新 产品 特有 的 缺陷 。 人 总 是 愿意 做 
目 己 擅长 的 事情 ， 但 是 测试 要 求 测试 人 员 较 全 面 地 和 掌握 系统 ， 并 探索 各 
个 区 域 的 细节。 所 以 ， 训 试 人 员 需 要 交 答 使 用 多 种 测试 策略 ， 人 花 一 些 时 
间 寻 找 熟知 的 缺陷 ， 然 后 运用 其 他 局 发 式 指导 词 去 探索 。 


指导 词 < 可 说 明 性 ”是 指 产品 应 该 容易 理解 ， 测 试 人 员 能 够 将 它 的 行为 
向 他 人 解释 清楚 。 测 试 人 员 可 以 时 常 反问 自己 :我 可 以 将 这 部 分 功能 
详细 地 解释 给 没有 经 验 的 用 户 吗 ? 他 会 认为 我 的 解释 很 合理 吗 ? 这 样 反 
思 有 两 个 好 处 。 


第 一 ， 它 让 测试 人 员 从 新 用 户 的 角度 考察 软件 的 功能 。 有 时 ， 测 试 人 
员 长 期 测试 一 款 产品 ， 对 产品 的 行为 习以为常 ， 对 一 些 不 方便 的 设计 拥 
有 较 高 的 容忍 度 ， 对 一 些 新 用 户 能 立即 发 现 的 问题 会 熟视无睹 。 强 迫 自 
己 像 新 用 户 那样 思考 ， 可 以 发 现 一 些 以 前 忽视 的 问题 。 此 外 ， 他 还 可 以 





























邀请 其 他 领域 的 测试 同事 进行 结对 测试 。 在 结对 过 程 中 ， 他 仔细 地 解释 
软件 的 功能 ， 结 对 伙伴 则 不 停 地 质疑 其 解释 的 合理 性 。 这 可 以 在 短 时 间 
内 发 现 一 批 不 合理 的 设计 或 实现 缺陷 。 


第 二 ， 要 求 目 己 明确 地 解释 软件 的 行为 ， 可 以 暴露 出 目 身 知识 上 的 不 
足 。 如 宁 测 试 人 员 不 能 清晰 地 解释 软件 的 行为 ， 他 应 该 感到 警惕 。 这 

可 能 意味 着 他 不 了 解 业务 逻辑 ， 不 知晓 产品 设计 ， 不 清楚 实现 细节 。 这 
些 知 识 上 的 漏洞 会 导致 薄弱 的 测试 设计 和 严重 的 缺陷 遗漏 。 不 过 ， 从 积 
极 的 角度 来 看 ， 困 惑 是 一 种 测试 工具 [Kaner01]， 它 指引 测试 人 员 针 对 他 
不 能 解释 的 问题 进行 探索 。 通 过 积极 地 学 习 和 测试 ， 测 试 人 员 不 但 可 以 
弥补 知识 的 漏洞， 还 可 以 发 现 隐藏 的 缺陷 。 此 外 ， 如 果 产 品 经 理 或 程序 
员 不 能 清晰 地 解释 他 所 负 贡 的 功能 ， 这 就 暗示 他 们 的 工作 可 能 存在 言 

扩 。 测 试 人 员 可 以 利用 该 提示 去 和 仔细 测试 这 些 功 能 。 


指导 词 “ 世 界 ” 建 议 测 试 人 员 用 现实 世界 的 常识 去 评估 软件 。 用 户 使 用 
软件 去 完成 现实 世界 的 任务 ， 目 然 期 望 其 行为 符合 一 般 期 望 或 种 识 。 例 
如 ， 在 线 交 易 网 站 应 该 只 显示 用 户 信用 卡 的 后 4 位 ， 以 避免 信用 卡 被 盗 
用 。 如 果 “ 客 户 信息 ”页面 展 示 了 完整 的 信用 卡 卡号 ， 这 很 可 能 是 一 个 缺 
陷 。 又 例如 ， 一 天 编辑 软件 要 保证 用 户 数据 的 安全 ， 它 要 么 目 动 保存 文 
件 ， 要 么 在 退出 时 提示 用 户 保存 被 修改 的 文件 。 如 果 编 辑 软件 在 菏 个 情 
景 中 既 不 保存 文件 ， 也 不 提示 用 户 保存 文件 ， 束 径 目 退出 ， 那 么 该 行为 
会 导致 用 户 数据 的 丢失 ， 是 一 个 严重 的 缺陷 。 可 见 ， 和 常识 是 一 个 有 价值 
的 测试 先知 ， 它 是 篇 幅 有 限 的 规格 说 明 在 复杂 世界 的 重要 补 序 。 为 了 更 
好 地 利用 该 测试 先知， 测试 人 员 需 要 拓展 自己 的 知识 面 ， 多 学 习 与 软件 
和 业务 相关 的 知识 。 人 否则 ， 他 会 因为 不 了 解 相 关 知 识 或 秉持 错误 的 观念 
而 错过 一 些 缺 陷 。 


指导 词 “ 历 史 ” 建 议 软 件 的 功能 应 该 与 它 的 历史 行为 一 臻 。 许 多 软件 发 
行 过 多 个 版 本 ， 当 前 版 本 的 功能 应 该 与 以 往 版 本 一 致 ， 以 保证 用 户 的 数 
据 、 技 能 、 经 验 持 续 有 效 。 例 如 ，Microsoft Word 是 一 个 有 20 多 年 历史 
的 软件 ， 耳 熟 能 详 的 版 本 包括 Word 95、Word 97、Word 2000, Word 

2003. Word 2007. Word 2010, Word 2013 等 。 如 果 Word 2013 的 排版 
结果 与 历史 版 本 有 重大 区 别 ， 那 么 它 就 不 能 妥当 地 呈现 用 Word2007、 

Word2010 等 精心 编排 的 文档 。 这 是 千 千 万 万 的 Word 用 户 所 不 能 接受 

的 ， 是 很 严重 的 缺陷 。 又 例如 ，Microsoft Word 提 供 了 对 象 模型 〈 即 一 
组 面向 对 象 风格 的 APT) ， 让 用 户 和 第 三 方 的 程序 员 可 以 编写 VBA 程 序 
来 扩展 Word 的 功能 或 完成 自动 化 任务 。 通 常 ， 新 版 本 的 Word 会 根据 功 




















能 的 变化 来 修改 对 象 模型 ， 但 是 其 核心 对 象 模型 非常 稳定 ， 能 保证 大 多 
数 既 有 VBA 程 序 可 以 正常 地 运行 。 如 果 核 心 对 象 模型 的 行为 友 生 改变 ， 
ee ee 
亚 重 的 缺陷 。 


将 历史 版 本 作为 测试 先知 时 ， 测 试 人 员 要 注意 两 个 潜在 的 问题 。 第 一 ， 
历史 版 本 可 能 包含 错误 ， 使 用 错误 的 测试 先知 可 能 掩 新 长 期 存在 的 缺 
陷 。 所 以 ， 测 试 人 员 要 始终 对 历史 版 本 抱 有 合理 的 怀疑 ， 并 用 多 个 测试 
先知 去 评判 软件 的 行为 。 如 果 发 现 一 个 存在 于 多 个 版 本 的 缺陷 ， 他 应 该 
很 仔细 地 报告 这 个 缺陷 ， 写 明 该 缺陷 可 能 在 哪些 历史 版 本 上 重 现 ， 并 强 
调 修复 它 的 价值 。 因 为 许多 开发 团队 倾向 于 不 修复 历史 版 本 可 复 现 的 缺 
陷 ， 测 试 人 员 要 充分 说 明 它 对 软件 价值 的 损害 ， 以 据 理 力 争 。 第 二 ， 测 
试 人 员 可 能 被 历史 版 本 束缚 了 思路 ， 而 忽视 了 优化 设计 的 机 会 。 好 的 设 
计 既 利用 已 有 设计 的 资产 ， 又 会 做 出 细节 或 整体 的 改进 ， 而 许多 重大 成 
功 往往 来 自 突 破 性 的 设计 。 例 如 ，Word 2007 放 弃 传统 的 Windows 菜 单 
界面 ， 启 用 Ribbon 界 面 。 虽 然 一 些 用 户 抱 她 Word 变 得 陌生 ， 但 是 更 多 
的 用 户 开始 拥抱 新 界面 。 然 后 ，Office 2010 的 所 有 程序 都 启用 了 Ribbon 
界面 。 在 新 界面 的 帮助 下 ，Office 2010 的 销售 量 超过 了 所 有 历史 版 本 。 
这 说 明 测 试 人 员 应 该 关注 新 的 应 用 情景 和 技术 趋势 ， 反 思 现 有 设计 ， 并 
提出 有 建设 性 的 意见 。 


指导 词 “ 远 景 ?要 求 软件 的 表现 符合 开发 团队 设 定 的 期 望 。 例 如 ， 
Google+ 的 开发 团队 对 产品 的 期 望 是 : 让 用 户 轻 松 自 如 地 在 社交 网 络 中 
表达 目 我 和 彼此 联系 ， 同 时 保护 他 的 隐私 。 因 此 ， 他 们 决定 Google+ 的 
核心 价值 是 : 社交 、 表 现 力 、 自 如 、 相 关 、 可 扩展 、 隐 私 〈 参 见 3.2.2 
T) 。 在 如 此 远景 的 指导 下 ， 测 试 团 队 开 发 出 一 些 具 体 的 检查 规 

WW: “只 要 几 次 点 击 就 可 以 创建 并 加 入 群 聊 >、“ 只 要 一 次 点 击 就 可 以 关 
闭 视 频 和 音频 输入 ”、“ 只 有 被 邀请 的 用 户 才 能 加 入 群 聊 ” 等 。 以 远景 为 
测试 先知 ， 测 试 人 员 可 以 将 精力 集中 在 产品 最 有 价值 的 属性 上 ， 有 助 于 
发 现 降 低产 品 市 场 芜 争 力 的 严重 缺陷 。 


指导 词 “ 可 对 比 的 产品 ”建议 测试 人 员 使 用 相似 产品 作为 测试 先知 来 评 
测 当 前 产品 。 软 件 的 功能 很 少 是 “举世 无 双 ” 的 ， 在 多 数 情 况 下 ， 己 有 
其 他 产品 实现 了 相似 的 功能 。 通 过 对 比 相似 的 产品 ， 测 试 人 员 可 以 较 快 
2 品 的 问题 。 例 如 ， 测 试 Microsoft Word 时， 就 可 以 考虑 以 
下 策略 。 


。 比较 同一 产品 家 族 的 其 他 应 用 。 例 如 ， 测 试 Word 的 图 片 处 理 时 ， 




















可 以 对 比 Word、Excel 和 PowerPoint 的 相关 功能 ， 因 为 它们 拥有 几 
乎 相同 的 图 片 处 理 特性 集 。 如 果 在 Word 中 调整 一 张 图 片 的 颜色 ， 
发 现 了 可 疑 的 结果 ， 测 试 人 员 可 以 在 Excel 和 PowerPoint 对 同一 张 图 
片 实施 相同 的 操作 。 如 果 Excel 和 PowerPoint 的 结果 看 上 去 更 好 ， 那 
么 可 以 推 新 Word 存 在 缺陷 。 


比较 彼此 竞争 的 产品 。 例 如 ， 测 试 Word 排 版 时 ， 可 以 对 比 Word、 

MAC Word 和 OpenOffice 的 排版 功能 。 让 这 些 软件 打开 同一 份 复杂 
文档 ， 比 较 它 们 所 呈现 的 文档 内 容 。 如 果 Word 的 排版 效果 不 如 其 

他 软件 ， 测 试 人 员 需 要 提交 缺陷 报告 ， 并 附 上 评测 所 使 用 的 文档 和 
排版 结果 截图 。 


比较 拥有 相似 功能 的 产品 。 例 如 ， 测 试 Word 的 图 片 导入 功能 时 ， 
可 以 对 比 Word 和 Windows 男 图 板 。 如 果 Word 不 能 导入 一 张 图 片 ， 
但 是 Windows 男 图 板 却 可 以 打开 该 图 片 ， 那 么 Word 很 可 能 存在 缺 
陷 。 


比较 功能 简单 、 可 靠 性 高 的 产品 。 例 如 ， 测 试 Word 与 输入 法 的 兼 
容 性 时 ， 可 以 对 比 wWord 和 Windows 记 事 本 。 如 果 某 款 输入 法 在 
Word 中 不 能 和 输入， 但 是 在 记事 本 中 正常 工作 ， 那 么 可 以 推测 Word 
存在 缺陷 。 


比较 期 望 取代 的 产品 。 例 如 ， 测 试 Word 的 电子 墨水 功能 时 ， 将 它 
和 传统 的 纸 笔 进行 比较 。 测 试 人 员 可 以 调查 :用户 使 用 电子 笔 ， 能 
在 Word 中 自如 地 书写 吗 ? 其 用 户 体 验 能 够 到 达 纸 笔 的 水 平 吗 ? 其 

使 用 情景 与 纸 笔 相 比 有 何 优 劣 ? 


比较 公认 的 “专业 ”产品 。 测 试 Word 2013 的 “阅读 视图 * 时 ， 可 以 对 
比 Word、Kindle for PC 和 Kindle for Windows 8。 Kindle for PC 是 一 
PE, Geet SE AN Hb LIA. Kindle for Windows 8 
te —aXWindows 8 应 用 ， 面 回 触 屏 提供 了 流畅 的 阅读 体验 。 通 过 对 
比 这 两 款 软 件 ， 测 试 人 员 可 以 评估 Word 的 阅读 视图 在 鼠标 、 键 
檬 、 触 摸 等 操控 方式 下 的 表现 ， 并 分 析 该 功能 是 否 达 到 了 典型 阅读 
软件 的 水 平 。 


忆 之 ， 测试 人 员 可 以 根据 被 测 功能 ， 选 择 一 批 < 可 对 比 的 产品 ”进行 比 
好 的 参照 物 不 但 可 以 提高 测试 效率 ， 还 能 够 增强 缺陷 报告 的 说 服 





指导 词 “声明 ”要 求 产 品 满足 项 目 文档 关于 其 功能 和 质量 的 论述 。 第 见 
的 项 目 文档 包括 需求 文档 、 规 格 说 明 、 用 户 手 册 、 广 告 文宣 、 和 营销 资料 
等 。 在 项 目 过 程 中 ， 许 多 设计 决策 是 逐步 浮现 的 。 例 如 ,测试 人 员 通 过 
实际 使 用 产品 ， 发 现 了 一 个 设计 缺陷 。 为 了 修复 该 缺陷 ， 产 品 经 理 和 程 
序 员 经 过 讨论 ， 对 产品 设计 进行 了 调整 。 随 着 此 类 设计 变更 的 累积 ， 产 
品 可 能 不 再 满足 原 有 文档 的 描述 ， 甚 至 背离 了 设计 初衷 。 对 此 ， 测 试 人 
员 需 要 分 析 项 目 文档 ， 抽 取出 它们 对 产品 的 声明 ， 用 作 测 试 先知 来 测试 
软件 。 如 宋 发 现 文档 和 产品 不 一 致 ， 他 可 以 提交 代码 缺 隐 ， 也 可 以 提交 
文档 缺陷 ， 要 求 修 订 文档 。 诺 如 用 户 手 册 、 宣 传 资 料 等 文档 是 最 终 产 品 
的 一 部 分 ， 要 认真 对 竺 。 


指导 词 < 用 户 期 望 * 建 议 测试 人 员 站 在 用 户 的 角度 思考 ， 以 检查 软件 是 
否 真 正 地 为 用 户 服务 ， 并 达到 了 他 们 的 期 望 。 通 常 ， 较 好 的 测试 方法 
是 发 布 软件 的 早期 版 本 ， 邀 请 最 终 用 户 参与 测试 ， 观 察 他 们 遇 到 的 困 

难 ， 并 收集 他 们 的 反馈 意见 。 此 外 ， 测 试 小 组 还 可 以 研究 用 户 群 体 ， 奸 
立 几 个 典型 用 户 角 色 ， 来 代表 不 同年 龄 、 技 能 、 特 点 的 用 户 。 然 后 针对 
用 户 角 色 ， 设 计 若干 个 他 们 需要 完成 的 常见 任务 ， 并 利用 这 批 任务 实施 
情景 测试 〈5.6 节 将 讨论 情景 测试 ) 。 在 测试 过 程 中 ， 测 试 人 员 将 自己 

当成 用 户 角色 ， 以 该 角色 的 思维 方式 操作 软件 。 在 测试 间隙 ， 他 可 以 反 
思 测 试 过 程 ， 并 自问 : 软件 能 够 帮助 用 户 顺利 完成 任务 么 ”哪些 地 方 使 
用 起 来 很 不 方便 ?哪些 操作 很 难 完成 ? 能 否 调整 软件 ， 使 用 户 可 以 更 广 
便 地 达成 目标 ? 


指导 词 “ 产 品 本 身 ” 要 求 产 品 所 拥有 的 功能 和 使 用 模式 彼此 一 臻 。 在 一 
款 大 型 产品 中 ， 一 组 功能 是 由 多 人 设计 并 实现 的 。 如 果 设 计 者 之 间 的 理 
念 发 后 冲突 而 他 们 又 缺乏 沟通 ， 产 品 的 功能 之 间 就 存在 不 一 致 性 ， 以 臻 
于 让 用 户 感 到 困惑 。 一 个 很 知名 的 不 一 致 问题 是 快捷 键 Ctrl+F 在 
Microsoft Outlook 中 的 作用 。 在 阅读 邮件 时 ，Ctrl+E 的 行为 不 是 大 多 数 人 
期 望 的 字符 串 查 找 ， 而 是 转发 邮件 。 偏 偏 在 撰写 邮件 时 ，Ctrlt+F 的 行为 
又 变 回 字符 串 查找 。 这 给 Outlook 的 用 户 带 来 了 许多 困扰 ， 他 们 很 难 预 
测 Ctrl+E 的 行为 ， 也 很 不 习惯 Ctrl+F 违 反常 识 的 举动 。 另 一 个 例子 是 如 
图 5-2 所 示 的 PowerPoint 2013 的 图 片 编辑 界面 ， 其 中 “图 片 样式 ”( 区 域 
A) 的 图 标 风 格 与 “图 片 效 果 -阴影 "x CX ERB) ASA UR ARB. OSE 
际 上 ， 区 域 A 的 图 标 是 Office 2013 的 新 风格 ， 而 区 域 B 的 图 标 继承 自 
Office 2010。 为 了 发 现 此 类 问题 ， 测 试 人 员 可 以 使 用 功能 漫游 去 游历 产 
人 
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图 5-2 不一致 的 PowerPoint 图 标 


指导 词 “ 意 图 ”要 求 产 品 能 够 体察 并 服务 于 用 户 的 意图 。 例 如 ， 

OneNote for Windows 8 2 是 一 款 为 触 屏 优化 的 软件 ， 图 5-3 是 它 的 截图 。 
其 中 ， 用 户 创建 了 一 个 列表 ， 包 含 两 个 条 目 : Item1 和 Item2。 用 户 将 
Item1l 的 字体 调整 为 Verdana 和 13 磅 ， 然 后 选中 Item2， 准 备 进行 相同 的 字 
体 调整 。 如 图 5-3 所 示 ，OneNote 认 为 用 户 会 重复 上 一 次 的 操作 ， 于 是 将 
字体 的 默认 值 调整 为 13 磅 ， 用 户 只 要 在 Font Size 上 轻 轻 一 点 ， 就 可 以 将 
Item2 的 字体 尺寸 调整 为 13 磅 。 在 大 多 数 情况 下 ，OneNote 的 这 个 行为 符 
合用 户 的 “意图 ”， 是 一 项 贴心 的 设计 。 但 是 ， 此 时 点 击 〈 或 触摸 ) 
Font，OneNote 却 没有 选中 上 次 使 用 的 Verdana， 而 是 选中 了 Item2 的 当前 
字体 Calibri， 详 情 请 参考 图 5-4。 该 行为 既 违 反 了 测试 先知 “产品 本 身 ”， 
也 违反 了 测试 先知 “意图 ”。 


| 2 本 书 所 测试 的 OneNote for Windows 8 的 版 本 是 15.0.4454.1006。 
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图 5-3 ”在 OneNote for Windows 8 中 调整 字体 


Verdana 


List Cambria 
e Item1 : 
。 jitem? ~ Calibri 


Georgia 
More... 


图 5-4 OneNote for Windows 8 显示 Item2 的 当前 字体 


单纯 地 测试 软件 功能 ， 可 能 不 能 发 现 此 类 缺陷 ， 因 为 如 果 不 考 虑 使 用 情 
景 ， 诸 如 图 5-4 所 示 的 行为 并 无 不 慨 。 测 试 人 员 应 该 用 软件 去 完成 一 项 
有 意义 的 且 相 对 复杂 的 任务 ， 在 真实 的 使 用 语 境 中 推 殴 软 件 的 功能 是 个 








符合 用 户 意 图 。 人 例如， 测试 人 员 可 以 用 OneNote 编 写 一 个 测试 小 组 的 “新 
AARIA”, RaT AA Ab. ASSES IRH TE 
布局 等 多 项 功能 ， 并 确保 指南 内 容 丰 定 、 排 版 美观 。 在 测试 过 程 中 ， 测 
试 人 员 仔 细 观 穴 并 分 析 产 品 的 行为 ， 可 以 发 现 一 些 实际 用 户 很 在 意 的 细 


市 问题 。 


指导 词 “ 法 规 和 标准 ”建议 测试 人 员 研 究 产 品 相 关 的 法 令 法 规 、 行 业 标 
准 、 合 同 约定 、 技 术 标 准 等 强制 性 规则 ， 用 它们 作为 测试 先知 来 指导 
测试 设计 和 评估 。 例 如 ， 和 微软、 谷歌 、 笠 果 等 公司 为 各 上 自 的 操作 系统 
开设 了 应 用 商店 ， 或 励 程序 员 回 其 提交 应 用 程序 ， 并 给 予 销 售 分 成 。 这 
些 公司 都 发 布 了 应 用 开发 的 指导 文件 和 应 用 需要 满足 的 强制 性 规定 。 测 
试 人 员 需 要 仔细 陪读 这 些 资 料 ， 以 它们 为 测试 先知 来 检查 软件 。 许 多 案 
例 表明 ， 一 些 看 似 无 碍 的 细 市 实际 上 触犯 了 应 用 商店 的 规则 ， 并 导致 应 
用 无 法 通过 审 香 ， 延 后 了 发 布 时 间 ， 阻 碍 了 业务 有 发展。 如果 测 试 人 员 可 
以 及 时 发 现 并 报告 这 些 问 题 ， 程 序 员 就 能 及 时 修复 ， 产 品 也 能 顺利 上 架 
人 
少 的 一 环 。 


FEW HICCUPPS 本 质 上 是 基于 一 致 性 的 启发 式 测 斌 先知。 测试 人 员 利 用 
一 组 局 发 式 指 导 词 ， 设 计 测 试 并 检查 软件 在 特定 方面 的 一 致 性 。 综 合 使 
可 以 从 不 同 角 度 考 察 产 品 ， 有 助 于 更 全 面 的 思考 、 更 周详 的 测 
Vo 




















5.3.3 ”约束 检查 


许多 软件 具有 复杂 的 计算 逻辑 ， 测 试 人 员 很 难 直 接 判 断 其 计算 结果 是 否 
正确 。 这 时 ， 他 可 以 根据 产品 的 业务 逻辑 和 实现 策略 ， 提 出 一 组 约束 规 
则 ， 用 相对 简单 的 规则 去 发 现 复杂 计算 的 错误 。 虽 然 约 束 规则 可 能 会 错 
过 一 些 缺 陷 ， 但 是 它们 可 以 用 较 少 的 资源 测试 复杂 的 产品 ， 在 测试 实践 
中 拥有 重要 作用 。 


测试 专家 Harry Robinson 曾 经 在 谷歌 公司 测试 谷歌 地 图 的 驾车 导航 功能 

[Robinson10]。 他 需要 检查 谷歌 地 图 是 否 正 确 地 给 出 了 从 地 点 A 到 地 点 B 
的 导航 路 线 。 这 是 一 项 有 挑战 的 测试 任务 。 第 一 ， 谷 歌 地 图 拥有 海量 的 
用 户 ， 他 们 有 不 同 的 出 发 地 (地 点 A〉 和 目的 地 (地 点 B，〉， 因 此 很 难 

构建 < 典型 > 的 测试 输入 集合 。 第 二 ， 导 航 问 题 在 现实 世界 并 不 存在 “ 标 

准 答 案 ” 或 “最 优 解 "， 两 条 不 同 的 导航 路 线 可 能 都 满足 用 户 的 要 求 ， 

此 测试 人 员 很 难 断 言 某 条 路 线 一 定 错误 或 一 定 正确 。 第 三 ， 导 航 算 法 是 
考虑 多 个 因素 的 人 工 智 能 算法 ， 实 现 复杂 度 很 高 ， 因 此 重新 开发 一 套 导 
航 算 法 作为 测试 先知 即便 是 可 行 的 ， 也 会 耗 赏 大量 的 测试 时 间 ， 给 项 目 
开发 带 来 风险 。 


Robinson 的 策略 是 构建 一 个 约束 规则 集 ， 让 测试 程序 利用 这 套 规则 去 检 
查 海量 的 地 址 组 合 。 该 测试 程序 的 算法 如 代码 清单 5-1 所 示 。 其 输入 是 
美国 所 有 邮政 编码 的 配对 ， 大 约 有 10 亿 个 输入 ， 履 盖 了 大 多 数 美国 用 户 
的 情况 。 测 斌 代码 调用 谷歌 地 图 ， 获 得 每 对 邮政 编码 的 导航 路 线 集合 ， 
然后 用 规则 集 对 导航 路 线 进行 检查 。 如 果 规 则 检查 发 现 了 一 个 失败 的 案 
例 ， 程 序 会 将 失败 的 详细 情况 报告 给 Harry， 请 他 做 进一步 的 分 析 。 


代码 清单 5-1 ”测试 地 图 导航 的 算法 
































for pair of address in all pairs of american zip code: 
directions = call Google map_for_direction(pair_of_address) 
for rule in direction constraint rules: 
result = rule.call Google map_and check(directions) 
if result.failed: 


result.report to tester() 





这 是 一 个 相对 简单 的 测试 程序 ，Harry 用 很 短 的 时 间 就 完成 了 开发 。 于 
是 ， 工 作 重 点 就 变 成 设计 约束 规则 。 开 始 时 ， 他 设计 了 一 条 规则 : “从 A 
到 B 的 导航 路 线 的 长 度 与 从 A 到 B 的 直线 距离 没有 显赫 送别 。” 不 竺 的 

是 ， 测 试 程序 在 使 用 这 条 规则 时 产生 了 许多 “ 误 报 ”。 因 为 ， 受 到 河流 、 
a 公园 等 对 象 的 阻隔 ， 两 地 之 间 的 导航 距离 很 可 能 远 远大 于 
其 直线 距离 。 


于 是 ，Harry 将 规则 替换 为 : “从 A 到 B 的 导航 路 线 的 长 度 与 从 B 到 A 的 导 
航路 线 的 长 度 没 有 显著 差别 。” 该 规则 可 以 看 作 指 导 词 “产品 本 身 ” 的 一 
个 应 用 ， 它 对 比 谷歌 地 图 的 两 个 输出 来 检查 功能 的 一 致 性 。 在 实际 测试 
中 ， 该 规则 的 误 报 率 较 低 ， 且 发 现 了 一 些 有 趣 的 错误 。 图 5-5 是 当时 
Harry 发 现 的 一 个 错误 ， 它 显示 了 两 条 出 发 地 和 目的 地 对 调 的 导航 路 

线 ， 左 下 方 的 路 线 比 较 合 理 ， 而 右上 方 的 路 线 则 明显 有 误 。 
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Start address: CA 92564 
End address: Long Beach, CA 90813 
Distance: 180 mi (about 3 hours 3 mins) 


Start address: Long Beach, CA 90813 
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图 5-5 谷歌 地 图 给 出 了 不 一 致 的 导航 路 线 
分 析 Harry 的 测试 策略 ， 可 以 总 结 出 一 些 实施 约束 检查 的 经 验 。 
。 用 简单 的 程序 去 测试 复杂 的 产品 。 简 单 的 测试 程序 更 容易 开发 ， 能 


够 快速 投入 测试 ， 且 可 以 随 着 产品 发 展 随时 调整 。 


eee 发 式 规则 去 发 现 失败 案例 ， 让 测试 人 员 做 进一步 
调查 。 


测试 人 员 用 较 少 的 时 间 构 造 测试 程序 ， 用 较 多 的 时 间 设 计 约 束 规 
则 ， 分 析 失 败 和 案例， 改进 约束 规则 。 


测试 先知 的 构造 不 是 一 足 而 就 的 。 在 测试 迭代 中 ， 测 试 人 员 需 要 根 
据 测 试 反 馈 ， 修 改 、 蔡 换 、 增 加 约束 规则， 以 逐步 完善 测试 先知 。 


当 约 束 规则 集 不 能 发 现 失败 案例 时 ， 测 试 人 员 要 考虑 增加 新 的 规 
则 。 例 如 ， 他 可 以 尝试 新 规划 ;:“ 从 地 点 A 到 地 点 B 的 路 线 上 选择 一 
个 点 C， 调 用 地 图 获得 A 到 C 的 导航 路 线 和 C 到 B 的 导航 路 线 。A 到 C 
的 路 线 长 度 加 上 C 到 B 的 路 线 长 度 应 该 约 等 于 A 到 B 的 路 线 长 度 。” 





软件 产品 是 多 种 多 样 的 ， 测 试 人 员 可 以 从 多 个 角度 设计 约束 规则 。 以 下 
是 一 些 典 型 的 测试 设计 策略 。 


策略 1: 基于 “数学 性 质 ” 的 约束 规则 利用 数学 知识 构造 检查 规则 
假设 ， 测 试 人 员 需 要 测试 数学 函数 double System.Math.Sin(double x)， 但 


他 暂时 没有 参考 程序 或 其 他 测试 先知 。 为 了 快速 地 发 现 严 重 的 缺陷 ， 他 
可 以 考虑 以 下 约束 规则 ， 做 一 些 快 速 的 测试 。 





在 数学 上 ，sin(x ) 对 于 一 些 输入 值 有 非常 明确 的 结果 ， 例 如 : sin(0) 
=0, sin(0.5xn)=1, sin(n)=0, sin(1.5xn)=-1, sin(2xn)=0. MiA 
eee 检查 返回 值 应 该 等 于 或 非常 接近 目标 


在 数学 上 ，sin(x ) 在 区 间 [0, 可 中 单调 上 升 。 测 试 人 员 可 以 在 此 区 间 
取 一 些 点 ， 检 碍 相应 的 计算 结果 符合 单调 上 升 的 特性 。 


在 区 间 [0, 2x#] 中 均匀 地 取 200 个 点 ， 调 用 被 测 函 数 获得 相应 的 函数 
值 ， 然 后 用 软件 绘制 出 函数 值 的 变化 曲线 ， 考 察 该 曲线 是 否 符 合 
sin(x ) 的 基本 特征 。 图 5-6 是 我 用 Microsoft Excel 绘 制 的 函数 
System.Math.Sin 的 散 点 图 ， 因 为 取 值 点 很 密集 ， 所 以 函数 值 连 成 了 
一 条 曲线 。 虽 然 不 能 精确 判断 ， 但 看 得 出 该 曲线 符合 sin(x ) 的 基本 


特性 。 


图 5-6 double sin(double x) 的 变化 曲线 


虽然 以 上 规则 不 能 保证 被 测 函 数 一 定 正确 ， 但 是 它们 可 以 快速 地 发 现 明 
显 的 问题 ， 用 很 少 的 时 间 获 得 基本 的 质量 信息 。 基 于 测试 结果 ， 测 试 人 
员 可 以 更 好 地 设计 下 一 步 的 测试 。 


基于 “统计 特性 ”的 约束 规则 利用 被 测 对 象 的 统计 特性 构造 检查 
I 


例如 ， 测 试 人 员 要 测试 函数 double System.Random.Sample0O 能 够 随机 地 
返回 0.0 和 1.0 之 间 的 数 ， 他 可 以 考虑 如 下 约束 规则 。 


。 首先 ， 随 机 数 应 该 均匀 的 分 散在 区 间 (0.0, 1.0) 中 。 测 试 人 员 可 以 调 
用 System.Random.Sample() 一 万 次 ， 然 后 统计 洲 入 (0.0, 0.1], (0.1, 
0.2], (0.2, 0.3], ..., (0.9, 1.0) 这 10 个 区 间 的 随机 数 的 个 数 ， 这 也 检查 
了 被 测 函 数 并 没有 返回 区 间 (0.0,1.0) 之 外 的 数值 。 他 可 以 绘制 出 类 
似 于 图 5-7 的 随机 数 分 布 图 ， 来 检查 其 分 布 是 否 均 匀 。 在 图 5-7 中 ， 
10 万 个 随机 数 大 致 均匀 地 分 布 在 10 个 区 间 中 。 














0.9-1, 962, 10% 0-0.1, 988, 10% 







0.8-0.9, 1028, 10% 0.1-0.2, 989, 10% 


0.7-0.8, 980, 10% 0.2-0.3, 1002, 10% 


0.6-0.7, 1037, 10% 0.3-0.4, 988, 10% 


0.5-0.6, 1009, 10% 0.4-0.5, 1017, 10% 


图 5-7 随机 数 在 10 个 区 间 的 分 布 


其 次 ， 随 机 数 的 生成 应 该 没有 明显 的 规律 ， 即 不 能 利用 以 往生 成 的 
随机 数 来 预测 下 一 个 随机 数 。 测 试 人 员 可 以 多 次 调用 被 测 函数 ， 绘 
制 出 类 似 于 图 5-8 的 随机 数 散 点 图 ， 来 检 醋 该 规则 。 在 图 5-8 中 ， 随 
2o 之 前 的 随机 数 、 之 后 的 随机 数 没 有 明 
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图 5-8 随机 数 的 散 点 图 


测试 人 员 还 可 以 用 更 严格 的 规则 来 测试 随机 数 函 数 。 对 于 随机 性 要 求 不 
高 的 领域 ， 图 5-7 和 图 5-8 的 测试 结果 表明 随机 数 函 数 并 没有 明显 的 问 


WEI: 基于 “格式 ”的 约束 规则 检查 数据 符合 特定 的 格式 


现实 世界 的 许多 数据 (如 电话 号 码 、 邮 政 编码 、 日 期 、 电 邮 地 址 、IP 地 
址 、 文 件 格式 等 ) 都 拥有 明确 格式 要 求 。 测 试 人 员 可 以 参考 这 些 格式 ， 
设计 约束 规则 去 检查 软件 产生 的 数据 。 例 如 ，Windows 事 件 查 看 器 显示 
了 操作 系统 记录 的 事件 和 事件 发 生 的 时 间 。 假 设 当 前 系统 的 地 区 设置 

是 “美国 "， 那 么 它 显 示 的 时 间 字 符 串 的 格式 应 该 类 似 于 “12/21/2012”。 

如 果 它 显示 的 时 间 字 符 串 是 欧洲 格式 ， 类 似 于 “21/12/2012”"， 那 么 其 日 
期 格式 化 功能 存在 缺陷 。 再 例如 ， 许 多 程序 会 生成 docx 格 式 的 Word 文 
档 ， 以 实现 办 公 自 动 化 。 测 试 文档 正确 性 的 第 一 步 是 验证 其 格式 。docx 
格式 本 质 是 一 个 压缩 文件 ， 包 含 了 一 批 XML 文档 和 数据 文件 。 微 软 提 
供 的 Open XML SDK? 可 以 检查 一 个 docx 文 件 是 否 被 正确 压缩 ， 其 包含 
的 XML 文档 是 否 符合 正确 的 XML 架构 。 于 是 ， 测 试 人 员 可 以 编写 一 个 
测试 程序 ， 调 用 Open XML SDK 来 检查 所 生成 文档 的 格式 。 














3 http://www.microsoft.com/en-gb/download/details.aspx?id=30425 。 





WEA: 基于 “业务 知识 ”的 约束 规则 使 用 领域 知识 来 设计 检查 规则 


例如 ，Harry Robinson 根 据 路 线 导航 的 常识 ， 提 出 了 一 组 规则 来 检查 谷 
歌 地 图 的 导航 结果 。 又 例如 ， 我 曾经 测试 过 一 个 订单 处 理 系 统 ， 其 输入 
是 一 组 数量 庞大 的 订单 ， 每 个 订单 有 独立 的 编号， 其 字段 也 有 独立 的 编 
号 。 系 统 分 析 每 个 订单 的 字段 ， 给 出 相应 的 计算 结果 ， 该 结果 包含 原 订 
单 号 或 字段 号 。 根 据 系 统 的 业务 需求 ， 我 提出 了 “编号 守恒 定律 ?， 即 所 
有 输入 的 订单 号 和 字段 号 应 该 出 现在 输出 结果 中 ， 且 输出 结果 包含 的 纺 
号 必须 存在 于 输入 数据 中 。 我 用 代码 实现 了 该 约束 规则 《和 其 他 一 批 规 
则 》 的 自动 检查 ， 将 其 作为 自动 化 系统 测试 的 测试 先知 。 在 每 天 执行 的 
目 动 化 测试 中 ， 这 批 规 则 发 现 了 许多 现 因为 代码 改动 而 引 友 的 错误 ， 取 
得 了 预期 的 检测 效果 。 


忆 而 言 之 ， 测 试 完 知 的 类 型 是 多 种 多 样 的 ， 每 种 类 型 都 有 自己 的 优点 和 
不 足 。 测 试 人 员 需 要 透彻 地 理解 测试 先知 的 理论 和 方法 ， 知 晓 它 能 发 现 
哪些 类 型 的 错误 、 不 能 发 现 哪些 类 型 的 错误 。 然 后 ， 从 不 同 关 系 人 的 角 
度 ， 使 用 多 个 测试 先知 去 检查 软件 的 行为 ， 让 它们 互 为 补充 、 彼 此 增 
强 。 因 为 测试 先知 可 能 存在 缺漏 ， 他 应 该 在 测试 达 代 中 持续 评估 测试 先 
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5.4 ”漫游 测试 


漫游 测试 是 在 特定 主题 指导 下 对 产品 进行 探索 的 一 组 测试 方法 。 不 同 的 
漫游 测试 方法 有 个 同 的 主题 ， 侧 重 于 探索 产品 的 不 同方 面 ， 其 共同 的 特 
征 是 测试 人 员 会 游历 产品 空间 ， 以 尽力 宪 盖 某 类 对 象 或 友 现 条 类 错误 。 


通常 ， 漫 游 测试 的 名 字 会 反映 其 主题 ， 一 般 表 现 为 待 测 对 象 、 测 斌 策略 
或 测试 隐喻 。 例 如 ， 功 能 漫游 建议 测试 人 员 去 探索 一 组 相关 的 功能 ， 用 
户 漫 游 建 议 测试 人 员 从 用 户 的 角度 考察 产品 功能 ， 出 租车 漫游 以 “出 租 
车 ”作为 隐喻 ， 建 议 测试 人 员 从 不 同 的 途径 访问 同一 个 功能 。 在 主题 的 
指引 下 ， 测 试 人 员 产 生 一 组 测试 想法 ， 并 在 探索 的 过 程 中 产生 更 多 的 想 
法 。 因 此 ，Cem Kaner 认 为 漫游 测试 是 一 种 结构 化 的 头脑 风暴 方法 
[Kaner11]. 


漫游 测试 的 重心 是 探索 ， 而 探索 的 核心 价值 之 一 是 学 习 。 在 探索 过 程 
中 ， 测 试 人 员 不 但 可 以 发 现 缺 陷 ， 还 可 以 深入 学 习 软 件 的 业务 规则 和 实 
现 细节 ， 从 而 提出 更 高 效 的 测试 策略 。 一 些 有 经 验 的 测试 人 员 会 在 拟定 
详细 测试 计划 之 前 ， 和 安排 几 个 漫游 测试 的 测 程 ， 收 集 测试 计划 需要 的 信 
晨 。 这 几 次 漫游 测试 的 重点 不 是 及 抉 缺陷， 而 是 从 测试 的 角度 研究 软 
件 ， 其 主要 产 出 不 是 缺陷 报告 ， 而 十 一 组 测试 支持 材料 ， 包 括 软 件 的 功 
能 列表 、 风 险 列 表 、 测 试想 法 列表 、 需 要 禾 盖 的 测试 目标 等 。 基 于 这 些 
信息 ， 测 试 人 员 可 以 更 好 地 规划 测试 ， 选 择 有 人 针对 性 的 测试 技术 。 






































5.4.1 基本 漫游 方法 


自 1990 年 以 来 ，James Bach, Elisabeth Hendrickson. Michael Kelly 等 提 
出 了 一 批 具 体 的 漫游 测试 方法 [Kaner11][Bolton09b][Kelly05b]。 基 本 

上 ， 这 是 一 组 基于 履 亲 的 测试 技术 ， 其 测试 过 程 需要 禾 新 一 组 预定 的 测 
试 目 标 。 表 5-1 总 结 了 这 组 方法 的 特征 。 


表 5-1 典型 的 漫游 测试 方法 











测试 手段 


广 
| 
名 





功能 漫游 发 现 软件 的 功能 区 域 〈 功 能 列表 的 主干 ) 和 细节 功能 《功能 列表 
的 分 文 ) 。 在 测试 之 初 ， 测 试 人 员 通 过 功能 漫游 了 解 软 件 的 整体 情况 ， 建 
立功 能 列表 的 主干 。 在 测试 特定 功能 时 ， 测 试 人 员 用 功能 漫游 描绘 出 功能 
列表 的 分 支 ， 详 细 地 者 六 一 个 功能 的 细节 以 及 与 它 协 作 的 其 他 功能 


















































菜单 和 窗口 漫游 是 一 种 特殊 的 功能 漫游 ， 则 在 发 现 所 有 的 菜单 (包含 右键 
点 击 所 触发 的 菜单 ) 、 菜 单项 、 窗 口 (包含 对 话 框 ) 、 工 具 条 、 命 令 图 标 
和 其 他 界面 控件 
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鼠标 和 键盘 漫游 是 一 种 特殊 的 功能 漫游 ， 旨 在 发 现 所 有 鼠标 和 键盘 可 以 触 
发 的 功能 。 测 试 人 员 需 要 尝试 左 键 点 击 、 左 键 拖 蝶 、 右 键 点 击 、 右 键 拖 
电 、 中 键 点击 、 滚 轮 滚动 等 鼠标 操作 ， 并 沦 试 各 种 键盘 命令 ， 包 含 F1~F12 
功能 键 、Esc、Shift、Ctl、Alt 等 。 此 外 ， 测 试 人 员 还 需要 有 履 盖 鼠标 与 键盘 
的 协作 ， 例 如 他 可 以 探索 在 左 键 拖 电 时 ， 按 下 Esc 键 会 发 生 什 么 









































需要 完成 的 一 项 完整 的 任务 ， 通 常会 涉及 多 个 具体 的 功能 。 业 
务 漫游 需要 歼 盖 软件 支持 的 所 有 业务 





背 误 消息 漫游 禾 盖 软件 所 有 的 错误 消息 。 测 试 人 员 可 以 询问 程序 员 或 扫 搬 
源 代码 ， 来 获得 需要 覆 新 的 错误 消息 。 此 外 ， 测 试 人 员 还 可 以 列 出 他 认为 
软件 可 能 报告 的 错误 ， 然 后 尽力 去 触发 。 该 漫游 时 在 发 气 软 件 可 能 过 到 的 





















































异常 情况 ， 从 而 发 现 软 件 在 异常 处 理 方面 的 缺陷 。 这 说 明 ， 虽 然 许多 漫游 
测试 是 基于 获 盖 的 测试 技术 ， 它 们 也 关注 着 软件 的 风险 《〈 即 可 能 存在 的 错 
误 ) ， 并 通过 测试 覆盖 来 暴露 风险 














的 | 变量 漫游 发 现 软件 输入 和 输出 的 变量 。 关 于 变量 的 更 多 讨论 请 参考 4.2.2 节 











数据 漫游 发 现 软 件 的 数据 元 素 “HTSM 产品 元 素 -数据 元 素 ) ， 即 软件 
所 接纳 、 处 理 、 产 生 的 数据 



































ee 软件 的 数据 元 素 后 ， 测 试 人 员 选 择 一 些 复杂 的 、 极 端的 数据 去 测 
试 软 








文件 漫游 发 现 软件 所 使 用 的 文件 ， 包 括 可 执行 文件 Cexe) 、 动 态 链接 库 








Cdl) 、 配 置 文件 Cini) 、 数 据 文件 〈.dat) 、 帮 助 文件 Chip) 等 








结构 漫游 发 现 软件 的 结构 元 素 (HISM- 产品 元 素 -” 结构 元 素 ) ， 即 构成 
软件 的 实体 ， 包 括 代 码 、 数 据 、 接 口 、 文 档 、 硬 件 、 相 关 网 络 服务 等 











操作 模式 漫游 发 现 所 有 影响 软件 行为 的 操作 模式 ， 这 通 
的 状态 机 模型 。 关 于 状态 机 的 更 多 讨论 请 参考 4.2.5 节 





常 意味 着 建立 软件 
























































序列 漫游 覆盖 软件 的 操作 序列 ， 这 通常 意味 着 覆盖 状态 机 的 多 条 路 径 ， 每 
条 路 径 都 覆盖 多 个 状态 和 变迁 








声明 漫游 发 现 项 目 关 系 人 对 软件 的 所 有 声明 。 测 试 人 员 需 要 研究 显 式 的 规 
格 说 明 (用 户 手 册 、 帮 助 文 件 、 使 用 教程 、 广 告 文宣 等 )》 和 隐 式 的 规格 说 
H (关系 人 的 邮件 、 口 尖 表 态 、 会 议 纪要 等 ) 。 该 漫游 有 助 于 建立 一 致 性 
测试 先知 “声明 ” 














文档 漫游 根据 软件 的 用 户 手册 、 在 线 文档 、 使 用 教程 来 覆盖 软件 的 功能 。 
Fe are PREIS el T eer 












































价值 漫游 发 现 软 件 为 用 户 提供 的 最 有 价值 的 功能 ， 从 而 理解 软件 的 目标 和 
项 目 团 队 的 使 命 。 该 漫游 有 助 于 建立 一 致 性 测试 先知 “远景 ” 























市 场 处 境 漫 游 发 现 软 件 的 目标 市 场 的 重要 元 素 ， 包 括 苋 争 产品 、 浣 争 产品 
的 特点 和 优势 、 产 品 用 户 、 用 户 购 买 时 所 考虑 的 因素 等 。 该 漫游 有 助 于 建 
六 一 致 性 测试 先知 “可 对 比 的 产品 ” 








用 户 漫游 履 盖 典型 的 用 户 情景 。 测 试 人 员 建 立 几 个 典型 的 用 户 角 色 ， 分 析 
他 们 的 期 望 和 使 用 模式 ， 确 定 典 型 的 用 户 情 景 和 任务 ， 并 予以 测试 。 该 漫 



































游 | 情 | 游 有 助 于 建立 一 致 性 测试 先知 “用 户 期 望 ”*。5.6 将 介绍 情景 测试 








配置 漫游 发 现 影响 产品 行为 的 软件 设置 、 操 作 系统 设置 、 便 件 设置 等 配置 


aA 


互 操 作 漫 游 发 现 与 软件 一 起 协同 工作 的 程序 和 服务 ， 以 及 软件 与 它们 协作 
所 使 用 的 接口 和 协议 














兼容 性 漫游 禾 盖 软件 的 运行 平台 ， 包 括 计算 平台 、 操 作 系统 、 硬 件 设 备 

等 。 对 于 一 些 手机 应 用 ， 它 支持 数 十 种 手机 型 号 ， 做 完全 的 兼容 性 漫游 是 
不 现实 的 。 测试 人 员 需 要 拟定 一 个 设备 选择 方案 ， 用 手机 的 市 场 占 有 率 、 

影响 、 用 户 特 点 等 因素 来 选择 少数 手机 进行 测试 。 制 定 该 选择 方案 的 过 程 
也 是 了 解 目标 市 场 和 产品 价值 的 学 习 过 程 
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可 测试 性 漫游 发 现 软件 中 文 持 测试 由 功能 ， 例 如 日 志文 件 记录 了 软件 的 过 
行情 况 、 软 件 的 编程 接口 提供 了 它 的 内 部 状态 等 。 该 漫游 还 可 以 发 现 软件 
在 可 测试 性 上 的 不 足 ， EA ANANA RARI OIAR 




















给 | 件 风险 识别 漫游 产生 软件 的 风险 列表 。 测 试 人 员 可 以 分 析 软 件 的 各 个 部 分 

识 | 的 | 想象 它 可 能 遭遇 的 失败 ， 以 列 出 一 组 软件 面临 的 风险 。 测试 人 员 还 可 以 漫 
All| pq | 游 产 品 的 功能 ， 并 沿路 思考 :“ 此 处 ， 软 件 可 能 发 生 什么 错误 ? 它 可 能 遇 到 
什么 异常 情况 ? ”， 以 获得 一 组 潜在 风险 























极限 值 漫游 是 一 种 特殊 的 风险 识别 漫游 ， 它 通过 输入 极限 值 或 制造 软件 的 
极限 状态 来 发 现 软 件 的 错误 。 常 见 的 极限 值 包括 零 、 最 小 值 、 最 大 值 、 空 
值 、NULL、 负 值 〈 当 软件 期 望 用 户 输入 正 数 时 〉、 不 正确 的 数据 格式 等 

















复杂 性 漫游 宪 新 高 度 复杂 的 用 户 情 景 ， 这 些 情 景 往往 拥有 漫长 的 操作 序 
列 、 大 量 的 用 户 输入 、 繁 复 的 功能 组 合 。 该 漫游 有 助 于 发 现 软 件 在 处 理 复 
杂 情 况 时 暴露 的 不 足 和 缺 陷 



































5.4.2 基于 旅行 者 隐喻 的 漫游 方法 


测试 专家 James Whittaker 基 于 系统 化 错误 猜测 ， 以 “旅行 者 ”为 核心 隐 
喻 ， 提 出 了 一 组 测试 方法 [Whittaker09]。 他 的 方法 往往 关注 特定 的 风险 
和 缺陷 ， 是 一 组 基于 风险 的 测试 技术 。 表 5-2 归 纳 了 这 组 方法 的 要 点 ， 
并 用 阴影 隔 出 了 相关 的 测试 方法 。 


表 5-2 James Whittaker 的 漫游 测试 方法 





测试 手段 


旅行 者 遵循 旅游 手册 | 测试 人 员 遵 循 用 户 手 册 的 操作 指令 来 使 用 软件 。 该 漫游 
来 漫游 景点 有 助 于 发 现 手册 与 软件 的 不 一 致 性 





























LA | 测试 人 员 利 用 第 三 方 博客 、 用 户 论坛 等 资源 来 收集 用 户 
ARNEE | 反馈 ， 根 据 他 们 的 建议 来 测试 软件 。 这 有 助 于 测试 人 员 
尽 蜡 减 市 或 景 尽 | 按照 用 户 的 使 用 方式 来 测试 软件 























BAIER I 测试 人 员 收 集 批评 者 的 意见 ， 根 据 他 们 的 负面 评论 来 测 
的 自从 批评 景点 ， 指 | 试 软件 。 这 有 助 于 发 现 不 良 设计 对 软件 价值 的 损害 

















测试 人 员 从 论坛 、 博 客 、 新 闻 、 专 栏 等 处 收集 用 户 对 竞 
参考 旅行 者 对 其 他 景 | 争 产 品 的 看 法 和 建议 。 利 用 这 些 信 息 设 计 测 试 情 景 。 这 
点 的 评论 来 改进 当前 | 有 助 于 评估 当前 产品 是 否 满足 用 户 需 求 ， 并 发 现 设计 的 
城市 的 旅游 品质 不 足 之 处 一 一 这 些 问题 会 阻碍 用 户 从 竞争 产品 迁移 到 当 
前 产品 



























































eject ester UnD | 测试 人 员 发 现 并 测试 软件 的 卖点 ， 这 通常 是 销售 人 员 和 
由 Sa AREAS BSB > TSR ONL 
最 知名 的 景点 。 | 游 都 有 助 于 分 析 软件 的 核心 价值 是 否 存在 风险 




















旅行 者 在 地 图 上 标注 | 测试 人 员 选 择 一 组 相关 的 功能 ， 依 次 测试 ， 直 到 测试 了 
地 标 ， 然 后 从 一 个 地 | 所 有 功能 。 该 漫游 与 功能 漫游 相似 ， 都 可 以 探索 并 学 习 
东 走 到 男 一 个 地 标 ， ”| 软件 的 功能 ， 用 一 组 地 标 〔 功 能 列表 的 主干 ) 产 生 详 细 
直至 到 达 目 的 地 的 地 图 《功能 列表 的 分 文 ) 



































旅行 者 在 一 处 景点 关 “| 该 漫游 探测 软件 的 “地 形 ”， 其 主要 目标 是 发 现 所 有 功能 
门 后 才 到 达 ， 只 好 在 [WAO HMA) 和 有 可 能 发 生 的 问题 〈 面 向 风 

停车 场 打 转 ， 并 寻找 | 险 ) ， 次 要 目标 是 确定 具体 的 漫游 方法 可 以 应 用 的 地 
男 一 处 可 玩 的 景点 方 ， 笠 运 目标 是 发 现 一 些 极端 严重 的 缺陷 










































































测试 人 员 运 用 业务 和 技术 知识 向 软件 提出 极其 挑战 的 问 
有 些 旅行 者 拥有 丰富 | 题 ， 例 如 : “软件 能 处 理 的 最 大 流量 是 多 少 ? 哪些 操作 
的 知识 ， 其 见识 超过 | 会 索取 最 多 的 内 存 ? ?成 功 运 用 该 漫游 的 前 提 是 测试 人 
了 导游 员 深 刻 地 理解 业务 、 设 计 和 实现 ， 并 可 以 设计 出 有 挑战 
性 的 测试 用 例 

































































找 测试 人 员 在 测试 软件 时 ， 以 找茬 的 心态 去 挑战 软件 。 他 
ae | 二 些 旅行 者 很 挑 吻 ， “| 提出 各 种 问题 去 质疑 软件 ， 例 如 : “如 采 我 这 么 做 ， 会 
漫 | 会 打 断 导游 的 介绍 ， | 如 何 ? 如 果 我 偏 不 这 么 做 ， 驻 如何 ?如 采 我 不 想 这 么 
游 | 多 问 一 些 挑 蛇 的 问题 | 做 ， 有 什么 普 代 方案 ? ”该 漫游 有 助 于 发 现 程序 员 设 计 
的 不 足 和 软件 逻辑 的 漏洞 





























许多 美国 旅行 者 给 人 
的 印象 是 傲慢 自 大 、 
无 理 取 疝 、 常 当众 出 
FL 









































=I (= B By 

















联邦 快递 会 携 ? 
在 城市 间 罕 梭 





垃圾 车 会 途经 每 一 个 
垃圾 箱 ， 并 做 短暂 的 








Fa 


出 租车 司机 非常 了 解 
城市 ， 能 从 多 条 路 线 
到 达 目 的 地 





出 租车 司机 有 时 会 
试 多 种 路 线 ， ee 
看 似 无 法 进入 的 区 域 











测试 人 员 用 一 些 不 合 “ 正 常 ?逻辑 的 情景 来 测试 软件 。 例 
如 ， 测 试 在 线 交易 网 站 ， 提交 订单 并 文 付 后 ， 又 取消 订 
单 并 要 求 退 球 。 双 例如， 提交 订单 后 ， 又 申请 去 更 改 送 
货 地 点 和 送 货 方式 。 该 漫游 有 助 于 发 现 软件 在 不 常见 情 
景 中 所 暴露 的 错误 




















测试 人 员 测 试 一 eee 例如 每 
算 、 数 据 备 份 、 垃 圾 清理 等 
































测试 人 员 测 试 软件 的 启动 过 程 ， 关 注 软 件 设 置 、 操 作 系 
统 配 置 、 硬 件 参数 等 对 启动 的 影响 








测试 人 员 跟 随 一 组 数据 走 遍 软件 的 功能 。 例 如 ， 测 试 
Powerpoint 图 片 时 ， 测 试 人 员 中 随 一 组 图 片 ， 测 试图 上 
、 图 文 混 排 、 图 片 导出 、 幻 灯 片 打印 等 

， 并 时 刻 检查 图 片 操作 的 正确 性 

















测试 人 员 选 择 一 组 目标 ， 如 所 有 的 菜 时 项 、 所 有 的 错误 
消息 或 所 有 的 对 话 框 ， 然 后 依次 访问 它们 ， 并 对 每 个 目 
标 做 快速 地 测试 





测试 人 员 发 现 并 测试 触发 条 一 功 
茶 项 任务 的 所 有 方式 。 
一 个 功能 或 情景 


能 的 所 有 途径， 或 完成 
该 漫游 有 助 于 完整 地 考虑 并 测试 














测试 人 员 瞄 准 一 个 很 难 达到 的 软件 状态 ， 
去 驱动 软件 抵达 该 状态 。 该 漫游 有 助 于 完 
试 一 个 功能 或 情景 


尝试 各 种 方法 
整地 考虑 并 测 











区 。 旅 行者 会 吉之 不 























eas 

















Se hat DR (a 





市 中 有 脏 乱 差 的 社 

















及 ， 侦 探 却 要 勇 往 直 
出 














测试 人 员 分 析 软 件 的 哪些 模块 拥有 许多 缺陷 。 因 为 缺陷 
出 现 ， 而 且 缺 陷 修复 也 可 能 引入 新 的 问题 ， 所 
以 那些 模块 可 能 还 存在 更 多 缺陷 。 测 试 人 员 需 要 人 花 时 间 
专门 测试 这 些 模块 



































测试 人 员 软 件 实现 ， 发 现 哪些 模块 拥有 历史 代码 。 当 这 








博物 馆 保存 了 许多 历 
史 久 远 的 古董 

















旅行 者 会 访问 著名 景 
点 ， 也 会 游历 到 周边 
地 区 。 它 们 构成 了 城 
市 的 整体 印象 











旅行 者 通常 不 会 进入 
阴暗 的 后 车 ， 但 侦探 
恰恰 相反 








旅行 者 既 访 问 华 丽 的 
景点 ， 又 进入 阴暗 的 
后 埠 

















有 些 旅行 者 会 在 
通宵 狂欢 








些 历史 代码 被 修改 ， 或 应 用 在 新 环境 中 ， 它 们 很 可 能 
致 软件 故障 。 因 此 ， 测 试 人 员 需 要 花 时 间 测 试 历 史 代 码 
以 及 它们 和 新 代码 的 交互 














测试 人 员 细 致 地 比较 当前 版 本 和 先前 版 本 的 行为 。 该 测 
试 有 助 于 发 现 严重 的 兼容 性 缺陷 


测试 人 员 重 点 测试 软件 的 非 主要 功能 。 例如， 对话 框 上 
有 一 条 指向 帮助 文档 的 链接 ， 很 少 有 用 户 会 注意 到 它 。 

测试 人 员 则 需要 点 击 该 链接 ， 以 检查 它 指向 正确 的 文 

档 。 该 漫游 有 助 于 完整 地 测试 软件 的 每 个 功能 

















测试 人 员 重 点 测试 很 少 人 使 用 的 功能 ， 以 检查 软件 是 否 
可 以 满足 少数 用 户 的 特殊 需求 








测试 人 员 将 受 欢迎 的 功能 和 无 人 问津 的 功能 放 在 一 起 测 
试 。 这 有 助 于 发 现 一 些 隐 藏 很 深 的 集成 缺陷 














测试 人 员 长 时 间 用 各 种 方法 测试 产品 ， 且 不 重新 启动 
它 。 该 漫游 有 助 于 发 现 一 些 长 时 间 运行 才能 暴露 的 缺 
陷 ， 如 计算 误差 累积 、 资 源 缓慢 泄漏 等 




















一 些 旅行 者 会 收集 所 
到 城市 的 纪念 品 ， 收 
集 的 越 多 ， 他 们 就 越 
开心 








超级 名 模 靓 丽 的 外 表 
会 吸引 最 多 的 目光 





一 个 商业 旅行 者 常 党 
访问 新 的 城市 。 为 了 
ay | 了 解 陌生 的 城市 ， 他 

会 选择 一 个 距离 办 公 
地 点 较 远 的 旅馆 ， 以 
vg | 便 他 有 机 会 在 城市 中 














苏格兰 旅行 者 喜欢 成 
群 结 队 的 泡 吧 、 唱 
酒 、 聊 天 








一 个 国际 化 大 都 会 往 
往 拥有 不 同文 化 的 社 
区 





测试 人 员 通 过 测试 去 收集 软件 的 输出 ， 收 集 得 越 多 越 


好 。 例 如 ， 测 试 PowerPoint 图 片 











时 ， 测 试 人 员 要 收集 各 种 





图 片 导 出 的 结果 ， 以 履 盖 图 片 格式 、 图 片 色彩 、 图 片 效 


果 、 图 片 尺寸 等 因素 。 





计算 结果 
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FE 
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A ie A DT ead es A a AER 





E AMIA FH 

















|j， 检 查 界 面 是 否 美观 、 控 件 


动画 是 ua 色彩 是 否 协调 、 刷 新 是 否 

















时 、 字 体 是 否 优雅 等 


测 试 人 员 











它 


选择 一 个 功能 ， 然 后 构造 最 长 的 路 径 去 访问 





， 其 主旨 是 在 达到 目的 地 之 前 使 用 尽 可 能 多 的 功能 。 








XA BT i 











互 引 发 的 缺陷 


| 试 人 员 更 好 地 理解 软件 ， 并 发 现 多 个 功能 交 





在 测试 时 ， 测 试 人 员 启 动 被 测 软件 的 多 个 进程 ， 让 它们 


都 开始 工作 ， 
件 、 网 络 服务 等 ) 。 














并 试 着 让 它们 访问 相同 的 资源 (如 本 地 文 














的 软件 错误 


测试 人 员 需 要 理 
wA, El 
闻 


测 
































WARE 











重点 测试 软件 的 国际 化 和 本 





软件 能 否 正确 地 显示 多 种 语言 的 文字 
可 拉 伯 文 ) ， 软 件 能 否 根据 系统 设置 正确 地 显示 货币 、 


解 产品 的 用 户 社区 ， 他 可 以 参与 用 
答 用 户 问题 ， 阅 读 有 关 产 品 的 博客 、 评 测 


这 有 助 于 发 现 进程 相互 影响 而 导致 























也 化 特性 ， 例 如 ， 
《包括 从 右 向 左 的 























期 、 数 学 等 格式 ， 软 件 能 合 正确 地 处 理 多 种 语言 的 输 


1 试 人 员 启 动 一 个 耗 时 较 长 的 操作 ， 然 后 取消 它 。 不 正 
确 的 取消 逻辑 会 破 环 软件 的 状态 ， 导 致 软件 故障 ， 所 以 

















遇 到 阵雨 时 ， 
会 条 停放 各 


人 
， 他 会 继 旨 ZER 








有 些 人 很 少 旅行 ， 只 





| 是 整 天 陷 在 沙发 里 看 




















电视 




















些 旅行 者 会 破坏 环 
境 ， 并 以 此 为 乐 





有 些 人 总 是 充满 反叛 
精神 ， 并 用 实际 行动 
反对 周遭 的 一 切 





有 些 人 用 敌对 的 态度 
es 


























罪犯 会 实施 狙 狂 | 
孔 不 入 的 攻击 





旅行 者 会 走 错 路 ， 被 
1b LAS 











测试 人 员 要 检查 软件 在 取消 之 后 是 否 可 以 正常 工作 。 此 
外 ， 测 试 人 员 还 可 以 局 动 一 个 操作 ， 不 等 它 结束 ， 又 开 
始 一 个 相同 的 操作 。 有 些 软件 不 能 正确 处 理 并 发 计算 ， 
两 个 同时 进行 的 计算 可 能 触发 软件 故障 









































测试 人 员 尽 可 能 不 提供 或 修改 数据 ， 这 意味 着 接受 软件 
H 











提供 的 默认 值 、 保 持 表单 字段 为 空 、 
据 。 该 漫游 检查 软件 可 以 处 理 它 提供 
可 选 字 段 














的 默认 值 、 





测试 人 员 实 施 故 障 注 入 和 错误 容忍 方面 的 测试 。 他 故意 
破坏 或 移 除 软件 操作 需要 的 资源 ， 然 后 强制 软件 执行 注 
定 导 致 失败 的 操作 。 该 漫游 将 测试 软件 能 否 合理 地 处 理 
(不 可 避免 的 ) 失败 ， 且 不 会 导致 更 严重 的 后 果 《〈 如 用 
户 数据 丢失 ) 



































测试 人 员 改 意 与 软件 做 对 ， 吉 
1 
AN 


眼 尽 办 法 让 软件 难堪 。 该 漫 
地 处 理 困难 的 任务 和 恶 意 的 



































该 漫游 是 一 种 特殊 的 反叛 漫游 ， 
效 的 数值 来 考验 软件 


它 要 求 测试 人 员 输 入 无 





该 漫游 是 一 种 特殊 的 反叛 漫游 ， 它 要 求 测试 人 员 扮 演 黑 
客 的 角色 ， 用 各 种 方法 和 工具 攻击 软件 








该 漫游 是 一 种 特殊 的 反叛 漫游 ， 它 要 求 测试 人 员 以 错误 
的 方式 或 顺序 来 操作 软件 。 例 如 ， 测 试 人 员 故 意 调 换 工 
作 流 的 步骤 ， 故 意 使 用 未 经 初始 化 的 数据 等 




















JE | 强迫 症 患 者 会 反复 做 | 测试 人 员 反复 执行 同样 的 一 组 操作 ， 这 些 操作 的 累积 效 
漫 | 同一 件 事 情 应 可 能 导致 软件 故障 

















Leap eee 该 漫游 针对 情景 测试 ， 以 引入 更 多 的 测试 变化 。 它 要 求 
Io ae Bae 测试 人 员 跟 随 一 个 测试 情景 访问 某 个 功能 ， 然 后 再 利用 








z | 服务 男 一 个 测试 情景 去 测试 其 他 功能 。 这 有 助 于 混合 测试 多 
人 情景 ， 发 现 由 功能 交互 引发 的 问题 




















5.4.3 ”移动 测试 漫游 方法 


测试 专家 Jonathan Kohl 针 对 运行 在 移动 设备 上 的 软件 ， 提 出 了 一 些 移动 
测试 漫游 方法 [Kohl12]。 其 主要 特点 是 选择 一 组 用 户 的 使 用 情景 或 移动 
设备 的 特性 〔( 触 屏 、 光 线 感 应 器 、 加 速 感 应 器 、GPS、 无 线 网 络 每) ， 
基于 它们 测试 移动 软件 的 功能 。 部 分 方法 无 法 在 办 公 室内 完成 需要 测 
试 人 员 在 室内 和 户外 真正 “移动 * 起 来 。 表 5-3 概 述 了 这 些 方法 的 特点 。 


K 5-3 Jonathan Kohl 的 移动 漫游 测试 方法 














测试 手段 





测试 人 员 访 问 软件 的 每 一 个 界面 ， 并 尝试 各 种 触摸 手势 ， 包 括 轻 襄 、 两 次 经 

si | 敲 、 按 压 、 按 压 并 拖 动 、 滑 动 、 旋 转 、 缩 放 等 。 测 试 人 员 检 查 软件 支持 哪些 
手势 、 这 些 手势 是 否 足够 、 支 持 的 手势 是 否 被 正确 地 实现 、 不 支持 的 手势 是 
否 被 妥当 地 忽略 等 





























测试 人 员 访 问 软件 的 每 一 个 界面 ， 并 旋转 设备 以 改变 屏幕 方向 : 
变 为 横向 视图 ， 再 变 回 来 。 测 试 人 员 检 查 两 种 视图 是 否 一 致 、 某 个 视图 是 
限制 了 用 户 的 使 用 等 















































we a 
出 程序 。 测 试 人 员 需 要 系统 性 地 漫游 软件 ， 以 履 盖 导航 操作 ， 包 括 : 退回 到 
之 前 的 界面 再 进入 、 取 消 当前 操作 、 回 到 软件 的 主 界面 、 退 出 到 系统 的 开始 
屏幕 再 返回 、 关 闭 软 件 再 打开 、 切 换 到 其 他 软件 再 返回 等 。 测 试 人 员 检 查 这 
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些 操作 是 否 会 导致 数据 丢失 、 功 能 异常 等 问 
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移动 设备 常见 的 配件 包括 : 耳机 、 蓝 牙 耳 机 、 交 元 风 、 充 电费、 无 线 充电 

板 、 外 置 键盘 、 蓝 牙 键 盘 、 外 置 底座 等 。 测 试 人 员 测 试 软件 能 否 和 这 些 设备 
很 好 地 协作 ， 并 关注 配件 的 接 入 和 拔 出 。 例 如 ， 测 试 一 丈 录 首 软 件 时 ， 测 试 
人 员 需 要 测试 设备 的 内 战 麦克 风 和 外 和 置 麦克 风 。 当 录音 还 在 进行 中 ， 披 出 外 
置 麦克 风 ， 这 时 软件 会 自动 切换 到 内 置 麦 元 风 继 续 录 音 吗 ? 此 时 ， 再 接 入 外 
置 麦克 风 ， 软 件 会 切换 回 外 置 麦 元 风 吗 












































许多 时 候 用 户 会 移动 设备 ， 测 试 人 员 需 要 漫游 软件 ， 以 检查 软件 可 以 正确 处 
理 加 速 感应 器 、 重 力 感 应 器 等 元 件 发 出 的 信号 ， 不 产生 让 用 户 感到 意外 的 情 












































况 。 常 见 的 动作 包括 : 拿 起 或 放下 设备 、 拿 着 设备 挥动 手臂 、 边 走边 用 、 疾 
行 时 猛 停 、 将 设备 天 向 沙发 等 





用 户 会 在 不 同 光线 的 环境 中 使 用 软件 ， 测 试 人 员 需 要 漫游 软件 ， 以 检查 软件 

















> | 是 否 可 以 正确 处 理光 线 感应 器 发 出 的 信号 ， 并 清晰 地 显示 内 容 。 常 见 的 测试 














环境 包括 :日 光 灯 照 亮 的 房间 、 漆 黑 的 房间 、 从 漆黑 的 房间 走 入 明亮 的 房间 
(或 相反 ) 、 在 温和 灯光 的 阴影 下 、 在 温和 日 光 下 、 在 猛烈 的 日 光 下 、 在 树 
随 下 、 在 黑夜 中 、 在 黑夜 的 路 灯 下 等 









































移动 设备 会 依赖 无 线 网 络 信号 和 GPS 信号 ， 而 信号 强 弱 与 位 置 紧密 相关 。 测 
试 人 员 需 要 考察 软件 在 不 同 地 点 的 表现 。 和 常见 的 测试 方法 包括 : 在 移动 中 

(步行 或 坐车 ) 使 用 软件 、 在 高 楼 下 使 用 软件 〈 蜗 楼 对 信号 有 干扰 ，、 在 大 
楼 内 的 不 同 地 点 使 用 软件 、 穿 过 大 楼 或 隧道 等 阻 断 信号 的 地 点 等 



































| 测试 人 员 用 各 种 网 络 情况 测试 需要 通信 的 功能 。 常 见 的 测试 情景 包括 : 各 种 
强度 的 Wi-Fi 网 络 、 各 种 强度 的 3G 网 络 、 从 信和 号 强 的 Wi-Fi 网 络 移动 到 信号 弱 
的 网 络 、 从 Wi-Fi 网 络 移动 的 3G 网 络 、 从 有 信号 移动 到 无 信号 、 从 无 信号 移 
动 到 有 信号 等 。 测 试 人 员 检 查 软 件 在 各 种 网 络 情况 下 的 表现 ， 并 检查 它 是 否 
状 | 可 以 正确 地 处 理 网 络 变迁 












































天 气 会 影响 移动 设备 的 定位 服务 、 光 线 感 应 器 、 无 线 通信 等 特性 。 测 试 人 员 
漫游 软件 ， 以 检查 各 种 温度 和 光线 对 软件 的 影响 ， 常 见 的 测试 场景 包括 : E 
冷 的 冬日 (用 户 穿戴 的 手套 会 影响 到 触摸 操作 〉，、 阳 光 烘 晒 的 夏 日 (高 温 可 






































会 影响 设备 的 稳定 性 ) 等 


测试 人 员 对 比 移动 软件 在 不 同 操作 系统 上 的 版 本 ， 如 iPhone、iPad、 
Android. Windows Phone. Windows 8 等 。 如 果 某 个 版 本 缺少 一 项 其 他 版 本 
具有 的 常见 功能 ， 测 试 人 员 应 该 报告 缺陷 




















测试 人 员 测 试 软件 能 够 正确 地 支持 首 频 输出 (播放 声音 、 首 乐 等 ) 与 音频 输 
A CRE 语音 识别 等 ) 。 此 外 ， 他 还 要 测试 软件 是 否 可 以 正确 处 理 来 自 操 
作 系统 和 其 他 软件 的 声音 中 断 。 例 如 ， 软 件 正在 播放 音乐 时 ， 日 程 安排 软件 
弹出 会 议 通知 并 伴随 提示 音 ， 音 乐 在 被 中 断 之 后 可 以 继续 播放 吗 ? 如 果 在 播 
放 音 乐 时 ， 有 电话 拨 入 ， 在 通话 结束 后 音乐 可 以 继续 播放 吗 






















































































Se a OH H 






































移动 设备 会 使 用 多 种 技术 ， 测 试 人 员 需 要 漫游 软件 ， 以 检查 软件 是 否 可 以 正 
确 地 同时 使 用 这 些 技术 。 例 如 ， 测 试 人 员 一 边 走 一 边 使 用 软件 《让 GPS 和 加 
$ | 速 感应 器 同时 工作 ) ， 同 时 让 它 使 用 互联 网 资源 《使 用 无 线 网 络 ) ， 并 播放 
音乐 《使 用 扬声器 ) » KEGEL MAREE HY ER 来 改变 软件 的 状 























测试 人 员 访问 移动 软件 的 每 一 个 界面 ， 将 软件 的 设计 与 操作 系统 的 软件 开发 
指南 进行 比较 。 如 果 发 现 当 前 软件 与 推荐 设计 不 一 致 ， 测 试 人 员 需 要 报告 缺 


陷 




















邀请 最 终 用 户 试用 软件 ， 观 察 他 们 的 行为 ， 收 集 他 们 的 反馈 。 对 于 小 型 开发 
的 | 团队 ， 可 以 邀请 开发 者 的 家 人 和 朋友 来 参与 。 此 外 ， 测 试 人 员 还 可 以 拟定 几 
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型 的 用 户 角色 ， 然 后 扮演 他 们 ， 以 他 们 的 方式 来 使 用 软件 。 这 有 助 于 测 





员 摆 脱 自 里 的 使 用 习惯 ， 用 新 眼光 发 现 以 往 忽视 的 问题 





户 在 家 时 ， 他 们 很 可 能 躺 在 休息 室 的 沙发 或 床上 使 用 软件 。 测 试 人 员 需 




















查 当 用 户 躺 下 或 半 躺 下 时 ， 他 可 以 舒适 地 使 用 软件 





备 的 电量 即将 耗 尽 时 ， 操 作 系统 很 可 能 会 关闭 一 些 〈 软 件 所 依赖 的 ) 服 














降低 CPU 的 运行 速度 。 测 试 人 员 需 要 漫游 软件 ， 以 检查 软件 是 否 可 以 正 





处 理 这 种 情况 。 如 果 软 件 所 依赖 的 服务 被 关闭 ， 它 应 该 以 用 户 友好 的 方 
告 当 前 情况 。 如 果 设 备 连 上 电源 ， 相 关 服 务 被 启动 ， 软 件 应 该 恢复 正常 

















和 极 热 的 使 用 环境 会 影响 移动 设备 的 硬件 表现 ， 有 可 能 导致 软件 出 现 故 
测试 人 员 需 要 在 这 些 环 壕 中 漫游 软件 ， 以 检查 软件 是 售 出 现 计算 错误 、 























迟缓 、 使 用 不 便 等 问题 





越 多 的 用 户 用 多 个 设备 来 协同 工作 。 例 如 ， 他 在 手机 上 发 现 了 一 球衣 














服 ， 然 后 用 平板 电脑 下 单 购买 。 又 例如 ， 他 在 桌面 电脑 上 发 现 了 一 本 电子 


人 阅读 。 测 试 人 员 测 
件 可 以 将 信息 方便 地 分 享 给 其 他 设备 ， 并 接受 来 自 其 他 设备 的 信息 。 他 












































多 款 设备 ， Aenean 以 组 成 平滑 的 工作 流 来 完成 同一 项 任务 

















FI 


人 员 给 软件 施加 压力 ， 让 它 全 力 运 转 或 面临 资源 压力 ， 以 检查 软件 的 性 
题 和 可 靠 性 问题 。 常 见 的 测试 方法 包括 : 同时 运行 多 于 软件、 让 软件 读 





























x 间 耗 尽 的 存储 卡 、 让 软件 处 理 尺 寸 巨 大 的 图 片 、 证 软件 传输 大 量 
速 网 络 中 使 用 软件 、 在 低 电量 时 使 用 软件 等 




















数据 、 








人 员 漫 游 软 件 ， 识 别 由 软件 引发 的 快乐 、 自 聚 、 滑 稽 、 疑 惑 、 恼 怒 等 情 
情绪 漫游 天 注 软件 可 用 性 ， 关 注 软件 带 给 用 户 的 感觉 ， 这 对 于 移动 软件 








情 | 用 | 非常 重要 。 用 户 会 蝇 不 犹疑 地 删 氏 从 一 款 让 他 感到 被 思 莽 或 被 激怒 的 软件 ， 整 

绪 | 软 | 个 过 程 只 要 两 秒 钟 。 更 糟糕 的 是 ， 他 可 能 在 应 用 商店 留 下 1 颗 星 的 恶 评 ， 这 

漫 | 件 | 对 移动 软件 的 推广 是 很 不 利 的 。 面 对 大 量 的 同类 软件 ， 用 户 在 选择 时 会 默认 

游 | 的 | 排除 3 颗 星 以 下 的 软件 ， 这 意味 着 1 颗 星 的 软件 几乎 没有 机 会 被 安装 。 开 发 团 
Ry | 队 可 能 需要 多 次 发 布 才 能 将 用 户 评 分 拉 升 到 3 颗 星 或 更 高 ， 而 这 只 是 为 了 弥 
TE | 补 一 次 糟糕 发 布 的 恶果 

































































用 户 有 时 会 在 焦急 的 情绪 下 使 用 软件 ， 例 如 他 上 班 迟 到 ， 一 边 小 跑 着 一 边 用 
手机 向 领导 发 邮件 : “ 今 早 的 会 议 我 会 晚 到 一 会 。” 测 试 人 员 需 要 模仿 这 种 情 
和 | 景 ， 用 急促 的 动作 和 不 耐烦 的 心态 来 操作 软件 ， 以 发 现 软 件 的 不 足 
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随 着 智能 手机 成 为 人 们 强烈 依赖 的 联络 工具 和 计算 平台 ， 智 能 手机 广 丙 
加 快 了 竞争 步伐 ， 市 场 上 的 新 产品 层出不穷 。 一 些 团 体 和 个 人 会 对 新 产 
品 进 行 评测 ， 并 在 网 络 上 用 文字 、 图 片 、 视 频 等 形式 公布 测评 结果 。 对 
比 Jonathan Kohl 的 移动 漫游 测试 ， 不 难看 出 有 一 些 评 测 从 移动 测试 的 角 
度 存 在 以 下 不 足 。 


。 这 些 评测 的 主要 形式 是 评测 者 坐 在 室内 把 玩 手机 ， 只 包含 很 有 限 
的 移动 场景 。 但 是 ， 用 户 使 用 手机 的 情景 是 丰富 多 样 的 。 他 们 会 
丹 着 使 用 、 边 走边 用 、 华 在 高 速 行驶 的 车 辆 中 使 用 、 在 不 同 光 线 环 
境 中 使 用 、 在 烈日 下 使 用 、 在 黑夜 中 使 用 、 在 各 种 无 线 网 络 中 漫 
游 ..…... 有 限 的 评测 场景 不 能 全 面 考察 智能 手机 所 草 过 的 各 种 情况 ， 

` 能 很 好 地 反映 用 户 在 真实 环境 中 的 使 用 体验 。 


e 这 些 评 测 会 逐个 分 析 智 能 手机 的 特性 ， 如 外 形 、 屏 幕 、 担 照 、 摄 
像 、 操 作 系统 、 经 典 应 用 等 ， 有 些 评 测 还 会 逐 项 打分 。 但 是 ， 在 
真实 环境 下 ， 用 户 往 往 会 同时 利用 多 个 硬件 特性 ， 运 行 多 个 软 
件 ， 让 它们 相互 配合 来 完成 任务 。 例 如 ， 智 能 手机 用 户 小 王 在 餐 
厅 惑 餐 。 在 等 待 上 沫 时 ， 她 打算 网 购 一 个 皮包 ， 于 是 打开 手机 ， 用 
浏览 器 访问 在 线 商 城 。 ， RN 面 时 ， 手 机 屏幕 上 显示 一 条 提 
示 : 有 Wi-Fi 网 络 可 用 ， MEJ? 她 选择 接 入 ， 浏 览 器 弹出 新 标 

签 以 显示 Wi-Fi 确 认 页 面 ， ， 她 确认 后 ， 智能 手机 连 上 Wi-Fi 网 络 。 然 
后 ， 她 回 到 先前 的 页 面 继续 浏览 ， 这 时 浏览 器 开始 使 用 Wi- Fi 网 络 
发 送 并 接受 数据 。 不 入 ， 她 发 现 了 一 球 很 好 的 皮包 ， 但 没有 下 决心 
购买 。 为 了 回 家 之 后 在 电脑 上 再 详细 浏览 ， 她 用 邮件 应 用 将 当前 的 














页 面 链接 发 送 到 上 自己 的 邮箱 。 在 这 个 简单 的 使 用 情景 中 ， 用 户 访问 
了 智能 手机 的 多 项 功能 。 设 计 恨 好 的 手机 能 让 用 户 体 验 尽 可 能 平 
滑 ， 而 设计 不 恨 的 产品 则 会 让 整个 过 程 兢 兢 绊 绊 。 只 孤立 地 测试 手 
机 的 各 个 功能 ， 不 考虑 它们 在 应 用 场景 中 的 交互 ， 就 不 能 反映 出 知 
能 手机 在 日 常生 活 中 的 表现 。 


这 些 评测 为 了 表现 公正 客观 ， 刻 意 在 形式 上 排除 个 人 情绪 的 因 

素 。 但 是 ， 用 户 在 使 用 智能 手机 时 总 是 带 有 或 强 或 弱 的 情绪 。 有 
时 强烈 的 情感 会 影响 他 的 使 用 方式 ， 反 之 智能 手机 的 表现 也 会 严重 
影响 用 户 的 情绪 。 例 如 ， 智 能 手机 用 户 小 王 受 邀 参与 一 场 婚 礼 。 在 
婚礼 现场 ， 照 明灯 光 缓 组 关闭 ， 婚 礼 进行 曲 渐渐 啊 起 ， 聚 光 灯 打 辣 
大 厅 入 口 ， 新 人 步 入 典 痊 。 这 时 ， 全 场 欢腾 ， 大 家 纷纷 喝彩 ， 并 拿 
出 手机 拍照 。 小 王 也 受到 全 场 气氛 的 或 舞 ， 很 开心 地 拿 出 手机 提 

照 。 设 计 优 秀 的 手机 能 让 她 在 黑暗 中 方便 地 启动 拍照 程序 ， 快 速 地 
担 摄 出 高 质量 的 照片 ， 并 轻松 地 分 享 给 她 的 好 友 ， 这 让 小 王 在 欢乐 
氛围 中 感到 由 更 的 高 兴 。 设 计 不 良 的 手机 会 让 小 王 遭 过 各 种 问题 : 
在 黑暗 的 环境 操作 不 便 、 拍 照应 用 局 动 缓慢 、 担 援 的 照片 效果 不 佳 
等 。 这 破坏 了 小 王 原本 快乐 的 心情 ， 让 她 感到 焦急 和 不 快 。 平 日 里 
可 以 容忍 的 到 缓和 卡 顿 ， 在 如 此 欢乐 的 氛围 中 却 格外 令 人 恼怒 。 实 
际 上 ， 市 场 上 的 领军 产品 的 共同 特征 是 能 够 激发 出 用 户 强烈 的 正面 
情绪 ， 将 产品 “融入 ”其 生活 ， 让 他 或 她 不 假 思 索 地 说 出 : RER 
人 


评测 是 一 种 简化 的 测试 ， 其 目标 通常 是 在 很 短 的 时 间 内 大 至 了解 产 品 的 
各 方面 ， 以 发 布 宽泛 的 评测 结果 。 因 此 ， 它 们 拥有 以 上 不 足 也 许 是 可 以 
接受 的 。 不 过 ， 也 有 的 人 从 实际 使 用 的 角度 体验 并 分 析 产 品 。 例 如 ， 科 
技 作 家 Paul Thurrott 在 评测 Surface Pro 时 ， 编 写 了 一 组 文章 4 : 总评、 第 
一 天 的 使 用 体验 、 在 旅行 中 使 用 Surface Pro, H Surface Pro 取 代 人 台式 

机 、 用 Surface Pro 取 代 超 级 本 、 对 比 Surface Pro 和 Surface RT 的 阅读 体验 
等 。 他 分 析 了 不 同 场景 中 Surface Pro 的 优 缺 点 ， 并 讨论 了 如 何 克 服 产品 
的 不 足以 获得 更 好 的 体验 。 这 组 文章 并 没有 提供 大 量 的 定量 分 析 ， 但 是 
基于 使 用 情景 的 定性 分 析 更 贴近 用 户 的 实际 体验 。 




















a http://winsupersite.com/windows-8/going-pro 。 


作为 专业 人 十， 测试 人 员 更 要 深入 考察 移动 应 用 的 使 用 情景 、 功 能 交互 


和 用 户 体 验 。 在 竞争 日 趋 激 烈 的 移动 应 用 市 场 ， 只 有 优秀 的 软件 才能 获 
得 用 户 的 青睐 。 为 此 ， 测 试 人 员 需 要 深入 用 户 情景 ， 去 全 面 评估 软件 对 
用 户 的 价值 。 传 统 软件 的 测试 人 员 也 可 以 参考 本 市 的 测试 方法 和 背后 的 
思想 ， 将 它们 移植 到 目 己 的 项 目 ， 为 提高 用 户 价值 作出 贡献 。 


5.4.4 实施 漫游 测试 


由 以 上 讨论 可 知 ， 漫 游 测试 是 一 个 测试 方法 家 族 ， 不 同 的 测试 专家 从 各 
目的 实践 出 发 ， 提 出 了 不 同 的 漫游 测试 方法 。 测 试 人 员 学 习 漫 游 测试 ， 
不 但 要 了 解 具体 的 实施 方法 ， 还 要 体会 漫游 方法 针对 的 问题 ， 唯 有 如 此 
ger eee yy eee R E 
策略 。 


。 在 项 目 早期 ， 选 择 广泛 漫游 的 朱 略 。 使 用 功能 漫游 、 业 务 漫游 、 
价值 漫游 、 地 标 漫游 等 方法 ， 学 习 产 品 并 发 现 明显 的 错误 。 测 试 的 
重心 不 是 深入 模块 或 功能 ， 不 是 挖掘 隐藏 很 深 的 缺陷 ， 而 是 理解 产 
品 的 远景 和 价值 ， 建 立功 能 之 间 的 联系 ， 获 得 产品 的 整体 模型 。 


。 随 着 项 目 发 展 ， 根 据 项 目 风 险 和 已 发 现 的 缺陷 ， 选 择 一 些 深入 漫 
游 的 测试 方法 。 使 用 极限 值 漫游 、 复 林 性 漫游 、 后 巷 漫 游 、 阵 十 
漫游 等 方法 ， 针 对 特定 目标 实施 细致 的 测试 。 通 常 ， 之 前 执行 的 功 
能 漫游 、 风 险 识别 漫游 等 “探索 型 、 学 习 型 ”的 方法 可 以 为 深入 测试 
提供 测试 想法 和 风险 列表 。 


。 根据 想 要 了 解 的 信息 ， 选 择 合适 的 漫游 方法 。 在 项 目的 任何 时 
候 ， 如 果 测 试 人 员 想 要 获得 特定 的 信息 ， 他 都 可 以 选择 合适 的 漫游 
方法 进行 探索 。 例 如 ， 他 和 希望 了 解 软件 是 如 何 处 理 数 据 的 ， 他 可 以 
选择 数据 漫游 、 数 据 采 样 漫游 、 快 递 漫游 等 方法 来 探索 软件 的 数据 
处 理 。 此 时 ， 漫 游 测 试 是 学 习 驱 动 的 。 


。 根据 想 要 缓解 的 风险 ， 选 择 合适 的 漫游 方法 。 在 项 目的 任何 时 
候 ， 如 宁 测 试 人 员 想 要 探测 软件 是 否 具有 特定 类 型 的 缺陷 ， 他 都 可 
以 选择 合适 的 漫游 方法 进行 攻击 。 例 如 ， 他 感觉 软件 在 并 发 计算 上 
并 不 稳定 ， 于 是 他 选择 阵雨 漫游 、 测 一 送 一 漫游 等 方法 来 强力 探 
测 。 此 时 ， 漫 游 测 试 是 风险 驱动 的 。 


因为 一 个 具体 的 漫游 方法 只 探索 了 软件 的 一 个 方面 ， 测 试 人 员 应 该 选择 
多 种 温 游 方法 来 实施 多 角度 的 调 奋 ， 并 随 着 产品 的 发 展 引 入 有 针对 性 的 















































漫游 方法 。 他 可 以 通过 漫游 测试 去 掌握 更 多 的 知识 ， 识 别 出 可 能 的 风 
分， 然后 安排 新 的 漫游 测试 去 检查 风险 是 否 暴 露 为 缺陷 。 本 质 上 ， 运 用 
漫游 测试 是 一 个 动态 的 学 习 和 探索 的 过 程 。 在 具体 实施 漫游 测试 时 ， 测 
试 人 员 可 以 考 夸 如 下 策略 。 


。 利 用 测 程 实施 漫游 测试 。 即 便 测试 人 员 不 使 用 基于 测 程 的 测试 管 
理 〈 详 见 3.2.13 节 和 4.2.2 节 ) ， 他 也 可 以 拿 出 一 个 小 时 的 时 间 ， 作 
为 一 个 测 程 ， 实 施主 题 明确 的 、 时 间 固 定 的 、 专 心 致 志 的 漫游 测 
试 。 为 此 ， 测 程 的 主题 应 该 点 出 具体 的 漫游 方法 ， 例 如 “使 用 功能 
漫游 来 探索 软件 的 功能 ， 以 建立 描述 功能 联系 的 功能 列表 ”“ 使 用 
风险 识别 漫游 来 探索 缺陷 数 最 多 的 3 个 模块 ， 以 获得 一 份 指导 未 来 
测试 的 风险 列表 ”“ 使 用 阵雨 漫游 和 测 一 送 一 漫游 来 测试 模块 A， 
以 发 现 并 发 计算 的 缺陷 ”。 


利用 测试 发 现 ， 实 施 新 的 漫游 。 在 从 事 某 项 测试 活动 时 ， 测 试 人 
员 发 现 了 一 些 奇 怪 的 现象 或 产生 了 一 些 新 的 测试 想法 ， 为 了 一 探究 
竞 ， 他 可 以 选择 合适 的 漫游 方法 立即 展开 测试 。 该 策略 常 被 称 

为 “顺路 游 "， 即 暂时 偏离 原 测 斌 目标， 对 其 他 目标 进行 测试 
[Wittaker09]。 该 策略 可 以 为 测试 引入 变化 ， 并 捕捉 到 原 测试 策略 没 
有 考虑 到 的 缺陷 。 如 果 “ 顺 路 游 " 可 能 产生 复杂 的 场景 ， 需 要 大 量 的 
时 间 ， 会 阻碍 既定 测试 目标 的 完成 ， 那 么 测试 人 员 应 该 记录 该 测 斌 
思路 ， 并 回 到 原先 的 测试 任务 上 。 这 就 像 在 地 图 上 增加 了 一 个 地 
标 ， 测 试 人 员 稍 后 会 仔细 探索 该 地 区 。 


此 外 ， 测 试 人 员 还 可 以 根据 项 目 特征 ， 提 出 自己 的 漫游 方法 ， 以 实施 更 
有 效率 的 漫游 。 比 较 正式 的 方法 是 参考 5.2 节 讨论 的 局 发 式 方 法 创建 流 

程 ， 通 过 分 析 问 题 、 提 和 炬 模式 、 提 出 方案 、 试 验方 案 来 构建 目 己 的 方 

法 。 比 较 简 便 的 做 法 是 修改 现 有 的 漫游 方法 ， 获 得 针对 当前 产品 的 漫 

游 。 例 如 ， 测 试 人 员 测 试 一 球 生 成 报表 的 产品 ， 他 可 以 将 收藏 家 漫游 修 
改 为 “报表 收集 漫游 "。 该 漫游 要 求 收集 产品 可 以 生成 的 各 种 类 型 的 报 

表 ， 包 括 空 报 表 、 最 长 的 报表 、 跨 年 报表 、 跨 月 报表 、 不 包含 数据 图 的 
报表 、 包 含 最 多 数据 图 的 报表 等 。 执 行 该 漫游 ， 测 试 人 员 不 但 测试 了 报 
表 输 出 ， 还 对 报表 的 输入 数据 、 报 表 的 生成 条 件 、 报 表 的 排版 等 方面 有 
了 更 深 的 认识 。 












































5.5 ”快速 测试 


快速 测试 是 一 组 基于 风险 的 测试 方法 ， 其 特征 是 针对 某 种 常见 的 软件 缺 
陷 ， 实 施 专 项 攻击 ， 通 常 不 需要 大 量 的 测试 时 间 和 产品 相关 知识 
[Kaner11]。 以 下 是 两 个 例子 。 


。 测 试 人 员 在 测试 数值 输入 时 ， 一 般 会 使 用 极限 值 测 试 法 ， 即 填 入 最 
大 值 、 大 于 最 大 值 的 值 、 最 小 值 、 小 于 最 小 值 的 值 、 零 值 等 极限 
值 。 这 是 因为 许多 程序 不 能 妥善 处 理 极限 值 或 极限 值 的 组 合 ， 会 发 
生计 算 错误 。 


。 测试 人 员 在 测试 输入 字段 时 ， 常 采用 非法 值 测 试 法 。 他 会 在 字段 中 
填 入 超 长 的 字符 串 或 空 字符 串 、 在 要 求 输入 数值 的 字段 中 填 入 非 数 
值 字 符 串 、 在 要 求 输入 日 期 的 字段 中 填 入 无 意义 的 字符 串 。 这 些 攻 
击 都 检查 软件 能 否 正 确 检 查 并 过 滤 外 部 输入 ， 而 不 是 让 恶意 的 输入 
破坏 其 状态 。 


在 上 述 案例 中 ， 测 试 人 员 只 需要 了 解 产 品 的 基本 情况 ， 就 能 够 实施 许多 
测试 ， 并 可 以 在 很 短 的 时 间 内 发 现 一 批 错误 。 


许多 测试 人 员 用 测试 想法 列表 (如 3.2.8 节 介绍 的 “测试 启发 式 方法 备 忘 
单 ”TQualityTree06]) 或 检查 列表 (如 3.2.11 节 介绍 的 “You Are Note Done 
Yet: Checklist”[Hunter10]) 来 记录 一 组 相关 的 快速 测试 想法 。 在 许多 情 
N E A 例 更 合适 的 测试 文档 。 以 下 是 它们 的 主 
Ze Ty Oo 


。 测试 想法 列表 和 检测 列表 只 记录 了 基本 的 测试 手段 和 少量 具体 案 
例 ， 因 此 篇 幅 短小 ， 更 容易 编写 和 维护 。 


© 在 实际 测试 时 ， 测 试 人 员 根据 列表 可 以 设计 出 大 量具 体 的 测试 用 
例 ， 即 列表 指明 了 测试 策略 ， 而 有 基体 战 术 则 由 测试 人 员 来 决定 。 这 
有 助 于 发 挥 测 试 人 员 的 能 动 性 ， 激 发 出 更 多 样 化 的 测试 设计 ， 从 而 
避 倪 了 刻板 测试 用 例 只 测试 特定 操作 的 局 限 性 。 


。 许多 具体 的 测试 用 例 不 会 及 现 错误 ， 因 此 无 需 记录 在 案 。 少 量 测试 
用 例 及 现 了 重要 的 缺陷 或 值得 调查 的 问题 ， 测 试 人 员 可 以 将 它们 的 





























核心 想法 纳入 列表 。 这 意味 着 测试 人 员 通 过 实际 测试 来 逐步 完善 列 
表 ， 且 无 需 在 文档 更 新 上 人 花 强 大 量 时 间 。 


。 测试 想法 列表 和 检查 列表 可 以 复 用 于 多 个 项 目 ， 使 得 投入 在 它们 喘 
上 的 测试 资源 有 更 好 的 回报 。 


快速 测试 的 优势 在 于 用 较 少 的 时 间 快 速 友 现 特定 类 型 的 错误 。 如 果 测 试 
人 员 发 现 他 经 常 过 到 一 些 相 似 的 缺陷 ， 他 应 该 考虑 将 相应 的 快速 测试 方 
法 加 入 测试 计划 。 如 果 现 有 的 快速 测试 方法 不 能 发 现 此 类 缺陷 (这 是 营 
见 情 况 ， 毕 葛 每 个 项 目 都 有 其 特殊 性 ) ， 测 试 人 员 可 以 设计 一 个 快速 测 
试 方法 ， 来 实施 专项 攻击 。 他 可 以 参考 5.2 节 介绍 的 月 发 式 方法 建立 流 
Re, iI“ or it > 设计 -~ 实验 -再 分 析 ” 的 友 代 来 获得 有 效 的 测试 方法 。 


因为 快速 测试 仅 针对 一 些 和 常见 的 软件 缺陷 ， 只 依赖 快速 测试 会 错过 其 他 
缺陷 。 而 且 ， 快 速 测试 没有 充分 利用 产品 的 知识 ， 因 此 不 能 发 现 许 多 领 
域 相关 的 缺陷 。 可 见 ， 测 试 人 员 应 该 将 快速 测试 与 其 他 测试 方法 混合 使 
用 。 例 如 ， 他 用 功能 漫游 建立 产品 的 功能 模型 ， 用 价值 漫游 理解 软件 如 
何 服务 于 用 户 ， 即 通过 基于 履 瘟 的 测试 方法 建立 对 软件 的 整体 认识 。 在 
此 基础 上 ， 他 选择 一 组 快速 测试 方法 对 一 些 功能 和 情景 进行 攻击 ， 以 快 
速 发 现 一 批 典 型 缺陷 。 根 据 所 发 现 的 缺陷 ， 他 可 以 安排 进一步 的 测试 ， 
以 探索 软件 或 实施 后 继 攻击 。 











5.5.1 James Bach 的 方法 


测试 专家 James Bach 和 Michael Bolton 在 他 们 主持 的 测试 培训 “快速 软件 
测试 ?中 ， 介 绍 了 一 批 他 们 第 用 的 快速 测试 方法 [Bach11]。 其 中 一 些 方法 
属于 漫游 测试 〈 如 变量 漫游 、 文 件 漫 游 、 文 档 漫 游 等 ) ， 已 经 在 5.4.1 节 
介绍 。 本 节 将 介绍 余下 的 快速 测试 方法 ， 详 情 请 参考 表 5-4。 


K 5-4 James Bach 和 Michael Bolton 的 快速 测试 方法 


方 
所 针对 风险 测试 手段 






























































快 | ae W eera Vt Nd ee ee ; aie 
乐 o 测试 人 员 测试 产品 最 简单 、 最 直观 、 最 典型 的 情景 ， 完 成 一 项 或 
路 | 拓 败 “| 多 项 用 户 任务 。 在 此 过 程 中 ， 检 查 其 表现 是 否 符合 用 户 和 产品 团 




















| 软件 不 能 正 














恰当 地 处 理 





























确 处 理 些 
异常 情 ; 

















当 某 些 操作 
被 反复 执行 
时 ， 软 件 可 


能 出 错 











软件 可 外 ETF 


























GO 


FR 


-| 同时 间 ) 编 


写 ， 它们 的 
逻辑 可 能 
一 致 
































队 对 它 的 期 望 ， 而 不 会 让 用 户 感到 疑惑 、 恼 您 、 挫 折 等 负面 情绪 


测试 人 员 局 动 一 项 软件 操作 ， 立 即 中 断 它 ， 然 后 再 次 执行 。 或 
者 ， 测 试 人 员 启 动 一 项 软件 操作 ， 立 即 暂 停 该 操作 ， 然 后 恢复 执 
行 。 中 断 的 方法 通常 是 点 击 “ 取 消 ?按钮 、 关 闭 对 话 框 等 。 在 移动 
和 可 以 快速 地 跳 转 到 软件 (或 操作 系统 ) 的 开始 
并 

















测试 人 员 启 动 一 项 软件 操作 ， 然 后 破坏 该 操作 所 依赖 的 资源 ， 例 
如 删除 它 要 访问 的 文件 、 关 闭 它 将 访问 的 网 络 服 务 、 启 动 男 一 个 
程序 去 锁 住 它 要 修改 的 数据 库 表格 等 。 软件 应 该 妥善 地 处 理 这 些 
异常 ， 合 理 地 报告 所 遭遇 的 问题 ， 不 导致 严重 的 故障 
































测试 人 员 用 一 些 值 配置 软件 的 参数 ， 并 在 软件 运行 过 程 中 ， 修 改 
这 些 参数 值 ， 以 检查 软件 能 否 接受 数据 的 变化 











测试 人 员 将 一 组 操作 重复 多 次 ， 用 并 发 的 流程 、 购 套 的 结构 去 考 
含 软件 。 例 如 ， 文 本 编辑 软件 支持 髓 套 文本 框 ， 于 是 测试 人 员 就 
不 断 在 文本 框 加 入 新 文本 框 ， DASE TREE. ALFEREZ 
次 达到 上 限时 ， 操 作 这 组 文本 框 有 可 能 发 现 隐藏 的 缺陷 






































测试 人 员 长 时 间 测 试 一 球 软 件 ， 不 关闭 它 。 在 此 过 程 中 ， 用 一 些 

a 观察 它 所 使 用 的 资源 ， 包 括 CPU、 内 存 、 操 作 系统 句柄 、 网 
出 口 、 数 据 库 连接 等 ， 以 发 现 软 件 在 资源 使 用 方面 的 缺陷 。 此 

o ARE AAR 
定 


















































测试 人 员 发 现 相互 调用 或 共享 数据 的 一 组 功能 ， 然 后 用 硅 张 的 数 
据 或 操作 来 压迫 它们 ， 以 其 露 交 互 中 存在 的 问题 

















软件 不 能 正 | 测试 人 员 漫 游 软 件 的 功能 ， 如 果 当 前 功能 提供 了 上 下 文 相关 的 帮 
确 显示 上 下 | 助 ， 测 试 人 员 调 出 该 帮助 ， 检 查 所 显示 的 内 容 确实 描述 了 当前 功 
文 相 关 帮 助 | 能 ， 能 够 帮助 用 户 完成 当前 操作 














€ ot Gt or 


程序 员 在 编 














测试 人 员 发 现 软 件 的 输入 变量 ， 尝 试 各 种 攻击 手段 让 非法 数据 i 
过 输入 检查 代码 












































危害 到 软件 


























测试 人 员 用 鼠标 闫 狂 地 点 击 界面 的 每 一 个 像素 ， 并 持续 敲 击 刍 

资源 泄漏 和 | 盘 。 该 测试 也 可 以 由 一 个 程序 来 自动 完成 ， 这 样 的 程序 通 币 被 成 

| 软件 崩溃 为 “测试 猴子 >”。 整 晚 运行 测试 猴子 可 以 发 现 一 些 资源 泄漏 、 软 件 
骨 误 方面 的 错误 























该 测试 的 隐喻 是 用 户 反 复 独 踩 键盘 将 暴露 \ 到 的 软件 错误 。 
测试 人 员 可 以 在 每 个 异 面 都 实施 此 类 政 击 ， 可 用 测试 猴子 来 完 
成 长 时 间 的 测试 
























































i H 
误 的 数据 ， 测试 人 员 将 软件 输出 的 数据 可 视 化 ， 使 得 明显 的 错误 值 可 以 在 瞬 
但 是 这 些 错 | 间 被 识别 。 例 如 ， 他 用 电子 表格 加 载 软件 的 输出 数据 ， 然 后 绘制 
误 数据 隐藏 | 散 点 图 。 如 采 茶 儿 个 点 不 符合 整体 变化 规律 ， 远 远 地 偏 在 一 i, 
它们 很 可 能 有 问题 。 测 试 人 员 需 要 对 它们 做 深入 调查 

































































消 | 软件 的 异常 单 出 错误 消息 表明 它 遇 到 异常 情况 ， 其 内 部 状态 可 能 遭 到 了 
ch | 处 理 代码 常 。 因 此 ， 测 试 人 员 一 旦 发 现 错误 消息 \， 就 要 对 软件 实施 猛烈 
常 有 缺陷 的 攻击 ， 以 发 现 不 完善 的 异常 处 理 的 “后 遗 症 ” 









































资 | 在 资源 紧张 “| 测试 人 员 逐 渐 限 制 软 件 可 以 使 用 的 资源 ， 例 如 CPU、 内 存 、 磁 
源 | 的 情况 下 ， | 盘 、 网 络 带宽 等 ， 直 至 软件 报错 或 退出 。 在 此 过 程 中 ， 软 件 应 该 














i 
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并 避免 用 户 数据 丢失 、 软 件 骨 溃 、 操 作 系 





软件 可 能 犯 | 平稳 地 对 待 资源 限于 
错 统 朋 省 等 事故 





BS 


IER 
SRAI | 测试 人 员 启 动 软件 的 多 个 进程 ， 并 循环 操作 它们 ， 以 发 现 由 并 发 
全 | 操作 造成 的 访问 冲突 、 数 据 破坏 等 问题 














用 户 会 修改 操作 系统 配置 ， 例 如 一 些 视力 减弱 的 老年 人 将 系统 字 

软件 不 能 体 设 为 最 大 ， 或 将 分 辨 率 调 为 最 低 ， 以 方便 阅读 。 这 些 配 置 可 能 

会 破坏 软件 的 界面 布局 ， 使 某 些 功能 不 能 被 正常 访问 。 为 此 ， 测 

人 以 发 现 由 特殊 配置 引 
I 错误 




















James Bach 分 享 了 他 使 用 的 工具 : Incerls> 〈 环 境 监 视 工 具 ) 








复杂 的 工具 ProcessMonitor 6 〈 进 程 监视 工具 ) ~ Application Verifier 7 (调试 
有 时 不 如 一 辅助 工具 ) ~ Perfmon (Windows 性 能 监视 器 〉 、Process Explorer® 
些 轻便 的 工 《进程 查看 工具 ) ‘ Windows 任 务 管理 器 、 个 便宜 的 摄像 头 和 
具 简 单 直接 一 球 便宜 的 摄影 机 (用 于 拍摄 测试 过 程 》、Microsoft Excel (用 于 
È 表格 制作 和 数据 分 析 ) 、HTML 验 证 器 " 等 。 测 试 人 员 需 要 持续 留 
意 有 价值 的 工具 ， 以 丰富 自己 的 武器 库 


































































































http://en.wikipedia.org/wiki/InCtrl5 。 

6 http://technet.microsoft.com/es-ar/sysinternals/bb896645 。 

í http://msdn.microsoft.com/en-us/library/ms220948(v=VS.90).aspx 。 
i http://technet.microsoft.com/en-us/sysinternals/bb896653 。 


9 http:/validator.w3.org/ 。 


不 难看 出 ， 以 上 测试 方法 与 5.4.2 节 介绍 的 一 些 漫游 测试 方法 很 相似 ， 例 
如 “持续 使 用 "和 “通宵 漫游 "都 建议 长 时 间 使 用 产品 ，“ 多 个 实例 "和 “ 测 一 
送 一 * 都 建议 同时 运行 被 测 软件 的 多 个 进程 。 这 说 明 不 同 的 测试 实践 者 
针对 常见 的 软件 错误 ， 不 约 而 同 地 提出 了 相似 的 测试 策略 。 对 于 测试 人 
员 而 言 ， 重 新 思考 已 有 的 测试 方法 ， 将 它 改 造 为 适合 新 情景 的 新 方法 ， 
是 掌握 测试 并 提高 自身 能 力 的 必由之路 。 恰 如 Cem Kaner 等 所 说 “你 不 能 





掌握 测试 ， 除 非 你 重新 发 明 它 [Kaner01]。 测 试 人 员 不 应 该 单纯 地 接纳 
测试 技术 ， a 理解 其 工作 原理 ， 融 入 自己 的 
经 验 和 其 他 技术 ， 以 获得 新 的 方法 。 坚 持 这 样 的 研究 和 发 明 将 帮助 测试 
A RJE TA Ha 


5.5.2 Cem Kaner 的 方法 


con KanerfE AE E F NW UP, ETE a 
结 的 快速 测试 方法 [Kaner11]。 表 5-5 总 结 了 这 批 方 法 的 特征 。 


表 5-5 Cem Kaner 的 快速 测试 方法 


所 针对 风险 测试 手段 


用 户 对 软件 的 第 一 

印象 往往 来 自 其 界 

面 。 好 的 界面 让 人 

4 | 愉悦 ， 差 的 界面 令 ”| 测试 人 员 漫 游 用 户 界 面 ， 发 现 是 否 有 任何 令 人 疑惑 、 不 
人 乏味 。 如 果 软 件 | 快 、 烦 躁 的 界面 设计 。 此 外 ， 他 还 可 以 参考 受到 好 评 的 界 
在 应 用 商店 中 销 面 设计 ， 以 发 现 被 测 产 品 的 可 改进 之 处 

售 ， 其 界面 很 可 能 

成 为 用 户 是 否 安装 

或 购买 的 重要 因素 






















































































常见 的 测试 想法 : 
ena ae FR, WAT FE YE A a FE 














, win e 测试 超出 范围 的 值 

KATAD |。 仿 数值 计算 产生 超出 范围 的 信 

eae 令 一 个 模块 输出 其 他 模块 不 能 接受 的 值 ， 例 如 ， 界 面 的 
字段 只 能 显示 20 个 字符 的 字符 种， 测试 人 员 让 后 台 模块 产 
生 21 个 字符 的 字符 束 。 又 例如 ， 后 台数 据 库 的 字 眉 是 8 位 整 
数 ， 测 试 人 员 让 前 台 网 页 传递 大 于 255 的 整数 





















































整数 和 浮 点 数 运算 
i | 可 能 溢出 ， 这 会 导 ”| 测试 人 员 要 留意 软件 的 数值 计算 。 如 果 觉 得 某 个 计算 有 洲 
出 | 致 计算 错误 和 安全 | 出 的 风险 ， 束 传 入 极 大 值 或 极 小 值 去 触发 潜在 的 洲 出 
漏洞 












































数据 转换 和 数值 计 
算 有 一 些 典型 的 错 


误 





一 段 程序 在 使 用 一 
个 变量 时 ， 可 能 对 














、 | 该 变量 的 状态 有 不 





这 xs 


正确 的 假设 ， 





“| 导致 软件 故障 


软件 可 能 不 能 侦 测 
到 它 所 依赖 的 事物 
发 生 了 变化 ， 这 会 
导致 错误 


| 控制 流 的 意外 跳 转 





可 能 暴露 隐藏 的 问 
题 


有 些 软件 错误 会 在 
漫长 的 操作 序列 中 
IFE 





常见 的 测试 想法 : 
o 输入 错误 的 数据 
输入 整数 ， 测 试 人 员 就 输入 浮 点 数 、 无 效 字符 串 、 


g 





以 测试 数据 转换 ， 例 如 ， 软 件 期 望 用 户 


JS At 


人 





e 除 零 

e 除 很 接近 零 的 极 小 数值 ， 这 会 产生 很 大 的 计算 结果 ， 有 
可 能 导致 数值 越界 或 溢出 

o 将 高 精度 的 数值 强制 赋 给 给 低 精 度 的 数值 ， 这 可 能 导致 精 
度 丢 失 ， 甚 至 计算 错误 

e 浮 点 数 运算 很 可 能 产生 误差 ， 一 些小 的 误差 会 累积 出 严 
重 的 偏差， 因此 ， 测 试 人 员 要 关注 涉及 多 个 变量 或 步骤 的 
数值 计算 ， 仔 细 检 查 其 结果 的 精度 

































































量 通常 有 如 下 5 个 状态 ， 
确 的 : 


测试 人 员 要 检查 程序 的 对 变量 状 





TAARAT it EH EA 
。 携带 有 其 他 计算 的 结 

















为 一 个 变量 设置 值 ， 让 一 些 功 能 依赖 于 该 变量 ， 然 后 修改 
该 变量 的 值 ， 并 检查 相应 功能 是 否 依然 正确 。 例 如 ，Word 
允许 在 文档 中 插入 “ 域 "， 以 显示 文件 的 保存 时 间 。 测 试 人 
员 在 文档 中 插入 文档 保存 时 间 的 域 ， 然后 更 新 操作 系统 的 
时 区 ， 那 么 文档 再 次 保存 后 ， 时 间 字 符 串 应 该 得 到 正确 地 
更 新 。 再 例如 ， 用 图 片 应 用 浏览 手机 上 的 图 片 ， 切 换 到 操 
作 系 统 界 面 下 删除 一 些 正 在 显示 的 图 片 ， 再 返回 图 片 应 
用 。 此 时 ， 图 片 应 用 会 如 何 显示 那些 被 删除 的 图 片 









































测试 人 员 要 想 办 法 打 乱 软 件 的 控制 流 
入 异常 数据 、 造 成 环境 失败 等 


， 例 如 触发 异常 、 输 


考虑 反复 执行 对 以 下 操作 : 
a 
MEF BOE P BAIER N 
会 执行 递归 计算 的 操作 
此 外 ， 测 试 人 员 可 以 编写 测试 程序 ， 用 随机 的 顺序 调用 已 
有 的 自动 化 测试 用 例 ， 实 施 长 序列 的 测试 
























































如 果 软 件 与 网 络 服务 、 数 据 库 、 其 他 软件 有 任何 形式 的 交 


L 





Gl az 


FRA ct A A SE 


软件 与 外 界 的 通讯 
可 能 中 断 


软件 可 能 对 操作 的 
时 序 有 不 正确 地 候 


设 





段 关 
为 





























合理 的 
(但 不 应 该 造成 故 


试 | 障 和 数据 丢失 ) ， 
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有 些 失败 则 是 可 以 
避免 的 





软件 的 错误 处 理 
码 需要 应 对 意外 ] 
REN, A$ 


= 





加 








iS 








O 
回 错误 的 消息 


互 ， 测 试 人 员 要 破坏 它们 之 间 的 通讯 。 
监听 并 自 改 消息 ， 或 强制 被 依赖 的 软件 返 
以 测试 软件 如 何 处 理 破损 的 消息 





























测试 异步 调用 时 ， 测 试 人 员 让 软件 先后 启动 A 和 B 两 个 计 
算 ， 并 让 B 先 完成 计算 。 有 些 软 件 不 能 处 理 后 提交 的 计算 
先 返回 的 情况 ， 会 发 生 故 障 。 此 外 ， 测 试 人 员 可 以 同时 局 
动 多 个 操作 去 访问 共 至 的 数据 或 功能 ， 以 检查 并 发 计算 是 
否 造成 数据 损坏 














如 果 一 个 任务 会 持续 一 段 时 间 〈 例 如， 软件 显示 了 进度 条 
eens 测试 人 员 可 以 在 其 执行 过 程 中 产生 一 些 
于 
e 移 除 该 任务 依赖 的 资源 。 

o 取消 该 任务 。 

e 暂停 该 任务 ， 然 后 继续 。 
。 对 于 移动 应 用 ， 先 切换 到 操作 系统 的 开始 屏幕 或 其 他 应 
用 ， 再 返回 。 
© 局 动 其 他 程序 与 被 测 软件 抢夺 资源 






































测试 人 员 和 尝试 着 触发 软件 的 错误 消息 ， 然 后 反复 执行 导致 
彰 误 消息 的 操作 ， 以 检查 错误 处 理 代 码 是 否 产 生 了 资源 泄 








高 的 编写 难度 ， 
此 容易 出 错 
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软件 的 失败 恢复 可 
能 包含 错误 ， 使 得 
损失 加 重 


文件 系统 的 异常 情 


浙 等 问题 然后， 他 强力 测试 软件 ， 以 检查 错误 处 理 代码 
否 妥 当地 将 软件 恢复 到 正确 的 状态 




















测试 人 员 要 检查 失败 处 理 代 码 的 正确 性 。 例 如 ， 许 多 文本 
编辑 软件 提供 了 自动 恢复 功能 ， 当 软件 崩溃 重启 后 ， 它 可 
以 显示 用 户 最 近 的 编辑 成 果 ， 避 人 免 或 降低 了 用 户 数 据 的 于 
T egy 






















































































第 见 的 测试 想法 : 

e 用 调试 工具 〈 如 Application Verifier) 令 操 作 系 统 的 文件 
读 写 API 返 回 错误 ， 这 可 以 模拟 出 磁盘 损坏 等 异常 情况 
e 删除 正在 被 使 用 的 文件 

e 删除 即将 被 使 用 的 文件 

e 锁 住 即将 被 使 用 的 文件 

© 视 取 软件 持 有 的 文件 句柄 《杀毒 软件 在 扫 摘 硬盘 文件 时 











会 蚀 取 文件 句柄 ) 
o 修改 一 个 需要 更 高 权限 才能 修改 的 文件 


系 |Y Remon ee 


。 今 文件 名 包含 操作 系统 禁止 的 字符 

o 将 文件 名 修改 对 操作 系统 有 特殊 含义 的 单词 ， 例 如 NUL 
在 Windows 系 统 上 是 一 个 特殊 的 设备 名 ， 不 能 是 文件 名 
e 读 写 尺寸 巨大 的 文件 

e 将 文件 写 入 只 读 的 磁盘 

e 将 文件 写 入 容量 即将 耗 尽 的 磁盘 

e 将 文件 写 入 网 络 磁 盘 ， 在 写 入 过 程 中 ， 断 开 网 络 

e 将 文件 号 入 移动 硬盘 ， 在 写 入 过 程 中 ， 拔 出 移动 硬盘 
































| 在 高 负载 的 压力 测试 人 员 想 办 法 提高 软件 的 工作 负载 ， 并 制造 资源 短缺 凡 
- | 下， 软件 可 能 出 错 “| 情况 ， 以 测试 软件 在 性 能 压力 下 的 行为 























软件 可 能 存在 兼容 测试 人 员 改 变 操作 系统 的 配置 ， 如 日 期 格式 、 时 间 格 式 、 


1 货币 格式 、 时 区 、 默 认 语言 等 ， 以 检查 软件 在 不 同系 统 本 
置 下 的 行为 


常见 的 测试 想法 : 
| 多 个 变量 的 交互 可 l° 用 两 个 有 效 的 值 组 成 非法 的 取 值 组 合 ， 例 如 “2 月 30 日 ” 
能 诱发 软件 错误 o 用 相似 的 操作 来 处 理 不 同 的 对 象 ， 例 如 在 Word 中 剪贴 一 
eae ae 组 对 象 〈 文 字 、 文 本 框 、 图 片 、 形 状 、 艺 术 字 、 域 、 表 格 


等 ) 



























































5.5.3 James Whittaker 的 方法 


James Whittaker MiA How to Break Software (HTBS) ， 以 失败 模 
型 为 基础 ， 介 绍 了 一 批 测试 方法 [Whittaker01]。 这 些 方法 大 多 属于 快速 
测试 ， 能 够 针对 特定 类 型 的 缺陷 实施 便捷 的 攻击 。 


a 缺陷 模型 是 一 个 讨论 和 理解 软件 缺陷 的 框架 ， 他 使 用 该 框架 来 
组 织 典 型 的 软件 失败 和 相应 的 发 现 手段 。 如 图 5-9 所 示 ， 失 败 模 式 主要 
关注 点 是 环境 和 能 力 。 


。 环境 是 软件 依赖 或 影响 的 外 部 对 象 ， 典 型 的 例子 是 人 类 有 用户、 文件 
系统 、 sce re a ee ME area 所 以 它 
主要 考虑 了 单机 软件 的 环境 。 现 今 ， 网 络 应 用 和 移动 应 用 已 经 成 为 





主流 软件 ， 测 试 人 员 需 要 考虑 的 外 部 对 象 还 应 该 包括 硬件 设备 《如 
BEM. DURE INAS. SEAR as. GPSS) 和 网 络 服务 。 

。 能 力 是 软件 功能 达成 用 户 价 值 的 手段 ， 该 定义 与 Google ACC 的 部 
件 通过 能 力 实 现 属 性 的 理念 是 一 致 的 (Google ACC 的 讨论 参见 
3.2.2 节 ) 。HTBS 针 对 能 力 实施 测试 ， 主 要 测试 切入 点 包括 软件 的 
输入 、 输 出 、 数 据 、 计 算 和 集成 。 


组 合 输入 (combinations) 


人 类 用 户 | Saye n 输入 序列 (sequences) 
[通过 其 他 程序 输入 
cee) MAR Pea Nak 
环境 创建 特定 内 容 的 文件 
l w 发 掘 操作 系统 影响 软件 的 途径 
失败 模型 | 操作 系统 | (模拟 操作 系统 行为 
使 用 调试 工具 来 辅助 测试 
其 他 软件 
输入 
ep) =e 
数据 
| 计算 和 集成 


图 5-9 失败 模型 关注 环境 和 能 


James Whittaker 建 议 测试 人 员 先 实施 漫游 测试 ， 以 识别 软件 的 界面 

(HTSM =P MIA > FEA) 和 相应 的 外 部 对 象 ， 然 后 列 出 外 部 对 象 在 
该 界面 上 可 以 执行 的 输入 和 观察 到 的 输出 〈4.2.2 节 讨论 了 输入 与 输出 模 
型 ) 。 此 外 ， 测 斌 人员 还 需要 通过 功能 漫游 识别 出 软件 的 主要 功能 ， 列 
a 0 3 并 理解 功能 之 间 的 依赖 和 协 


在 掌握 了 软件 的 基本 情况 后 ， 测 试 人 员 可 以 根据 错误 模型 对 软件 进行 测 
试 。 他 专注 于 软件 的 一 个 界面 、 一 项 能 力 和 一 个 可 能 的 失败 ， 实 施 快速 
的 攻击 。 当 攻击 完成 后 ， 他 转 癌 下 一 个 目标 再 进行 攻击 ， 即 通过 一 场 场 
小 规模 的 战斗 来 赢得 一 场 战 役 〈 赢 得 整 场 战 争 还 需要 使 用 更 多 的 测试 方 
YE) 。 表 5-6 是 HTBS 所 建议 的 攻击 手段 。 











表 5-6 HTBS 的 攻击 手段 


所 针对 的 软件 失败 如 何 实施 攻击 


通过 用 户 界 面 攻击 软件 的 输入 


C 
e ANN : 滤 除 错误 的 数 


e 输入 检查 : 检查 输入 并 报告 

错误 。 采用 极限 值 测试 、 边 界 值 测试 、 非 法 值 测试 、 
“je 异常 处 理 ， 当 错误 输入 产生 | 压力 测试 等 方法 来 测试 用 户 输入 
- | 故障 时 ， 异 
| 常 处 理 代 码 会 捕获 异常 并 加 以 
当 自 | 补救 。 正 确 地 编写 以 上 代码 需 

| 要 周密 的 思考 和 反复 的 测试 

稍 有 不 慎 就 可 能 引入 缺陷 















































































































































常见 的 测试 想法 : 
个 同 的 模块 由 不 同 的 程序 员 编 e 接受 所 有 默认 值 ， 然 后 提交 
写 ， 他 们 可 能 期 望 不 同 的 默认 | @ 使 用 空 值 
































\ | 值 ， 这 种 不 一 致 性 会 导致 错误 |e 将 默认 值 改 为 男 一 个 值 ， 然 后 再 改 回来 
e 将 默认 值 改 为 男 一 个 值 ， 然 后 改 为 空 值 














常见 问题 。 
o 字符 集 有 些 软 件 只 支持 特 
定编 码 的 字符 集 ， 输 入 其 他 编 
TARSAR aag | 测试 人 员 了 解 软 件 、 编 程 语言 、 实 现 技术 、 操 
Ape | 户 输入 作为 程序 来 执行 ， 这 时 作 系 统 对 字符 集 和 数据 的 期 望 与 限制 ， 然后 使 
we lB TURE MIU, MOLEN. | 用 对 它们 而 言 具有 特殊 含义 的 字符 串 或 数据 进 
。 操 作 系统 ; 操作 系统 会 禁止 行 攻击 
创建 一 些 特定 名 字 的 文件 。 
些 软件 在 西 文 操 作 系统 上 不 能 
正确 显示 中 文字 符 































































































常见 的 测试 想法 : 
e 输入 超 长 的 字符 串 ， 字符 串 最 好 类 似 于 “总 
oz | 软件 没有 考虑 输入 值 超 长 、 超 | 贰 短 肆 伍 陆 米 捉 玖 拾 1234567890 者 
大 的 情况 ， 导 致 数值 计算 溢出 | 有 助 于 定位 导致 错误 的 长 度 
或 缓冲 区 溢出 e 输入 极 大 值 〈 针 对 加 法 和 乘法 计算 ) 、 负 的 
极 大 值 〈 针 对 减法 计算 ) 、 很 接近 零 的 值 〈 针 
对 除法 计算 ) 等 
作 。 此 外 ， 程 序 员 有 时 会 用 复杂 的 柑 套 if 语 句 
来 检查 多 个 变量 ， 这 些 代码 不 容易 编写 ， 更 容 
当 多 个 程序 员 共 同 开发 一 段 代 易 在 维护 时 出 错 测 试 人 员 通 过 调查 软件 需求 和 


量 | 码 时 ， 他 们 的 代码 所 产生 的 数 实现 ， 以 识别 真正 相关 的 变量 ， 它 们 通常 属于 



















































































的 取 | 值 可 能 不 能 正常 协 同一 个 数据 结构 或 参与 到 同一 项 计算 中 。 然 


值 组 后 ， 根 据 软件 使 用 它们 的 方式 设计 测试 用 例 。 
合 此 外 ， 也 可 以 使 用 4.1 节 介绍 的 组 合 测试 工具 
来 产生 测试 用 例 





测试 人 员 反复 执行 一 些 消耗 较 多 资源 的 操作 ， 
重复 | 软件 可 能 不 了 解 它 在 空间 和 时 | 或 反复 执行 一 些 产生 大 量 数据 的 操作 。 例 如 ， 











mel 在 测试 在 线 商城 时 ， 测 试 人 员 持 续 向 购物 车 中 
BREMNER a Te (ARMS AR, UE TEANNA 
资源 订单 。 该 订单 可 能 导致 提交 失败 ， 或 令 未 来 

的 订单 处 理 遇 到 困难 


和 攻击 软件 的 输出 






























































测试 人 员 需 要 咨询 领域 专家 、 产 品 经 理 和 程序 
员 ， 以 了 解 软件 的 业务 规则 和 代码 实现 。 然 

后 ， 通 过 测试 来 建立 软件 的 模型 ， 如 4.2.2 节 讨 
论 的 输入 与 输入 模型 、4.2.5 节 讨论 的 状态 机 模 
See irre en we 
过 程 中 ， 他 用 该 攻击 方法 来 探测 软件 












































ae) | 该 攻击 要 求 测试 人 员 “ 逆 向 思 上， 测试 人 员 可 以 采用 与 上 一 条 攻击 相 
考 >， 从 输出 推测 导致 错误 的 输 似 的 测试 流程 ， 通过 和 迭代 的 学 习 、 建 模 和 攻击 
许多 测试 人 员 觉 得 这 种 思 | 来 寻找 缺陷 。 不 同 之 处 在 于 本 攻击 更 强调 暴露 
SE 考 方式 不 自然 。 同样 ， 程 序 员 | 输出 错误 。 例 如 ， 测 试 日 期 选择 面板 时 ， 测 试 
也 不 习惯 于 这 样 思 考 ， 所 以 他 | 人员 先 选择 图 年 的 2 月 29 日 ， 然 后 点 击 “ 下 一 
们 的 设计 可 能 忽略 了 一 些 特殊 | 年 ">。 那 么 日 期 选择 面板 会 显示 非 半 年 的 2 月 29 
情况 ， 而 埋 下 了 错误 日 吗 


有 些 输出 包含 多 个 属性 ， 例 如 
一 个 |PowerPoint 在 导出 图 片 时 就 需 | 测试 人 员 令 输 出 包含 各 种 属性 ， 然 后 逐一 调整 
ah | 要 考虑 原 对 象 的 色彩 、 对 比 。 | 属性 ， 并 检查 新 的 输出 。 在 调整 属性 时 ， 要 重 
9 属 | 度 、 亮 度 、 特 效 、 边 杠 等 属 | 点 考虑 极限 值 、 非 法 值 和 数据 性 质 的 变化 。 例 
,| 性。 协同 工作 的 代码 (调整 对 | 如 ， 属 性 的 效果 从 无 到 有 (比如 其 数值 从 0 变 
:| 象 属性 的 代码 、 在 屏幕 上 绘制 | 化 到 1) 或 从 有 到 无 《比如 其 数值 从 1 变化 到 
对 象 的 代码 和 导出 图 片 的 代 。 |0) 很 可 能 会 对 输出 结果 产生 重要 影响 
码 ) 可 能 存在 不 一 致 性 


图 形 界面 需要 正确 地 在 

a 测试 人 员 增加 、 删 除 、 移 动 屏 幕 上 对 象 ， 调 整 

ww 软件 的 界面 布局 ， 改 变 其 窗口 大 小 和 位 置 ， 在 

成 关 的 各 Fie ee a 及 时 地 
e ae SOREL IEM ITED 





























































































































































































































通过 用 户 界面 探索 存储 的 数据 





该 攻击 与 “强制 软件 对 相同 的 输入 产生 不 同 的 
化 | 软件 在 检查 用 户 输入 时 可 能 没 | 结果 * 相 似 ， 可 采用 相似 的 测试 流程 。 不 同 之 
































始 状 | 有 考虑 自身 的 状态 ， 而 放 过 了 | 处 在 于 ， 之 前 的 攻击 强调 细致 地 探索 软件 ， 通 





态 进 | 一 些 导致 故障 的 输入 过 设置 软件 状态 来 产生 特定 的 输出 。 本 攻击 强 
行 输 调 设置 软件 状态 来 让 用 户 输入 产生 失败 
入 





固定 长 度 的 数据 结构 〈 如 数 
组 ) 只 能 容纳 特定 数目 的 对 








常见 的 测试 想法 : 








Bo ee ge gine: | 。 向 一 个 数据 结构 中 连续 添加 数据 ， 直 至 软件 
存 拓 容纳 更 多 的 对 象 ， 并 在 所 

容纳 的 对 象 减少 时 归还 内 存 ， 0 RTE 错误 
TAMNEMPN ITAR. |o 取出 一 个 数据 结构 中 的 数据 ， 直 至 软件 提示 


人 员 需 要 检查 这 些 数 据 结构 可 容器 已 衬 < 或 暴露 出 错误 
~ | 以 正确 处 理 数据 的 变化 

































































如 果 软 件 提供 了 多 种 方法 修改 

其 内 部 数据 ， 程 序 员 需要 对 每 | 测试 人 员 探 索 软 件 ， 了 解 软件 对 数据 的 约束 ， 
种 方法 实施 正确 且 一 致 的 检 | 然后 尝试 各 种 方法 去 绕 过 数据 约束 。 例 如 ， 制 
查 。 在 软件 开发 和 维护 过 程 ” | 表 功 能 只 允许 插入 256 行 的 表格 ， 测 试 人 员 可 
中 ， 该 一 致 性 可 能 被 破坏 ， 以 | 以 先 搬入 256 行 的 表格 ， 然 后 通过 “插入 行 ” 功 
0 能 来 突破 限制 




































































a re sf 

Be eet arabe eer docks, | 测试 人 员 探 索 软 件 ， 了 解 软 件 所 使 用 的 计算 ， 
P 型 的 香 法 组 会， 但 厅 能 泥 过 了 | 针对 它们 的 特点 实施 攻击 

= | 其 他 非法 组 合 



































编写 正确 的 递归 函数 和 峰 套 数 
制 | 据 结构 需要 一 定 的 技巧 ， 其 代 | 测试 人 员 漫 游 软件 ， 列 出 可 能 包含 递归 的 功 
码 可 能 包含 隐蔽 的 错误 。 而 然后 想 办 法 让 它 无 止境 地 递归 下 去 。 例 
且 ， 逻 辑 正确 的 递归 会 因为 一 | 如 ， 测 试 文档 编辑 软件 时 ， 在 图 文 框 中 持续 搬 
些 现 实 的 限制 而 导致 错误 ， 例 0 增长 直至 出 
如 大 量 的 函数 递归 调用 将 耗 尽 | 错 。 又 例如 ， 在 正文 中 插入 脚注 ， 然 后 在 脚注 
人 HOBIE 
党 





















































产生 | 过 大 或 过 小 的 结构 都 可 能 造成 

过 大 | 溢出 错误 。 此 外 ， 即 便 过 大 或 oe a 
的 结 | 过 小 的 结果 是 正确 的 ， 当 这 些 | 想法 是 输入 极限 值 和 特殊 值 ， 并 通过 连续 操作 
人 令 数 值 趋向 极 大 值 或 极 小 值 

过 小 | 功能 可 能 会 遭遇 失败 



































ob Æ 


四 让 | 基本 的 测试 想法 是 用 一 个 功能 去 影响 另 一 个 功 
能 的 输入 、 输 出 、 数 据 和 计算 。 由 于 软件 的 功 

能 很 多 ， 测 试 人 员 需 要 素 焦 于 用 户 价值， 像 丰 

实用 户 那样 使 用 软件 。 在 此 过 程 中 ， 通 过 仔细 
RRR | 地 观察 和 发 散 地 思考 ， 识 别 相互 关 联 的 功能 ， 
ae 并 进行 攻击 

































































牛 系统 实施 基于 介质 的 攻击 


T ERA 
: y | 作 ， 然 后 逐一 测试 这 些 操作 。 在 具体 操作 之 
BARRERA Legere M ERRER Ct aeRO GEO. OL 
E ya E 的 情况 。 典 型 的 情况 包括 以 下 几 种 : 

确 处 理 该 异常 。 此 外 ， 单 


E a ee o 磁盘 空间 耗 尽 


o Hit MS Th 


e 读 卡 器 中 没有 存储 卡 
o 访问 拒绝 


ie URI ee. eee 

bh | > au |® 工具 快速 读 写 >, Qhi fix 

能 很 好 地 处 理 此 关 极 端 | 。 使 用 网 络 工具 限制 计算 机 带宽 ， 降 低 软 件 访 
问 网 络 磁盘 的 吞吐 量 
。 使 用 工具 耗 尽 操作 系统 的 文件 句柄 


介质 | 软件 不 能 很 好 地 处 理 此 类 极端 | 测试 人 员 可 以 使 用 受 损 的 磁盘 和 光盘 来 测试 软 
损坏 | 情况 件 ， 也 可 以 使 用 工具 来 模拟 出 文件 系统 的 错误 


通过 文件 系统 实施 基于 文件 的 攻击 


操作 系统 对 文件 命名 有 一 组 规 


a 测试 人 员 需 要 学 习 操 作 系 统 对 文件 名 的 约束 ， 


:加 答 窒 就 夫 产生 闺 法 的 妆 件 | 然后 构造 非法 文件 名 去 攻击 软件 
n AHL I 

























































































































































































测试 人 员 探索 软件 ， 识 别 出 软 件 会 读 写 的 广 
件 。 在 软件 访问 该 文件 之 前 ， 修 改 其 访问 权 
Be, LHR LE TUM 
o 将 文件 ae 只 读 
ee PAREEN 。 将 文件 属性 修改 为 可 读 写 
cea 。 将 文件 的 所 有 者 修改 为 其 他 用 户 或 用 户 组 
。 用 其 他 软件 打开 该 并 倘 住 该 文件 


软件 应 该 检查 从 文件 中 读 取 的 | 第 见 的 测试 想法 : 
修改 | 值 ， 并 报告 遇 到 的 错误 。 不 正 |。 测 试 人 员 以 一 个 正确 的 文件 为 起 点 ， 逐 个 修 
或 破 | 确 的 文件 解析 和 检查 将 导致 软 | 改 其 字段 ， 以 测试 软件 对 它们 实施 了 正确 的 检 
坏 文 | 件 改 障 。 此 外， 黑客 也 会 用 文 | 













































































件 的 | 件 攻击 软件 ， 软件 读 取 一 个 恶 je 测试 人 员 破 环 文件 的 结构 ， 以 测试 软件 能 否 
内 容 | 意 文件 ， 在 解析 的 过 程 中 出 | 正确 地 容忍 错误 或 报告 文件 异常 
错 ， 然 后 被 引导 去 执行 恶意 代 je 测试 人 员 利 用 模糊 测试 工具 产生 大 量 的 破损 
码 文件 让 软件 读 取 ， 以 暴露 隐藏 的 缺陷 


通过 软件 或 操作 系统 进行 攻击 














测试 人 员 制造 一 系列 操作 系统 或 被 依赖 软件 的 
H0O y A Jy SK AR as I H wy) oe y 





























eet 
。 制造 或 模拟 网 络 错误 
。 制 造 或 模拟 被 依赖 软件 的 异常 














0 在 本 类 攻击 中 ， 因 为 有 些 情景 不 容易 手工 创建 ，James Whittaker 
使 用 一 球 工 具 (Canned Heat) 来 模拟 出 文件 系统 的 异常 情况 。 不 这 
的 是 ， 该 工具 的 开发 与 维护 已 经 停止 了 。 目 前 ， 在 Windows 平 台 上 
拥有 相似 功能 的 软件 是 微软 的 Application Verifier， 它 功能 强大 ， 但 
E 不 过 ， 测 试 人 员 可 以 编写 一 些小 程序 来 模拟 出 类 似 
情况 


由 以 上 介绍 可 知 ，HTBS 的 内 容 是 一 组 典型 的 软件 失败 情景 和 相应 的 攻 
击 手段 。James Whittaker 用 环境 和 能 力 为 框架 ， 将 它们 有 条 理 地 组 织 起 
来 ， 以 便于 学 习 、 交 流 和 应 用 。 在 测试 工作 中 ， 测 试 人 员 应 该 收集 典型 
的 缺陷 ， 分 析 它 的 原因 和 症状 ， 并 设计 相应 的 测试 方法 或 局 发 式 指导 
词 。 一 段 时 间 后 ， 他 可 以 用 一 个 框架 来 组 织 这 些 方法 和 指导 词 ， 并 将 成 
果 分 享 给 测试 小 组 的 其 他 成 员 。 通 过 有 针对 性 的 测试 设计 和 相互 学 习 ， 
测试 小 组 可 以 更 有 效 地 发 现 产品 的 问题 。 


5.6 ”情景 测试 


情景 是 一 个 连贯 一 致 的 故事 ， 描 述 了 特定 用 户 如 何 使 用 软件 。 情 景 汕 试 
将 一 个 或 一 组 情景 作为 测试 方案 ， 通 过 运行 软件 来 排演 这 些 故 事 ， 从 而 
评估 软件 的 行为 [Kaner11]。 


情景 测试 的 主旨 是 从 实际 用 户 的 角度 考察 软件 在 现实 场景 中 的 表现 。 软 
件 产 品 是 一 项 解决 方案 ， 它 帮助 用 户 完 成 困难 的 任务 ， 并 达成 业务 目 
标 。 其 解决 问题 的 能 力 来 自 于 一 组 相互 支持 的 部 件 和 功能 。 为 了 检查 软 
件 的 能 力 ， 情 景 测试 通过 较 长 的 业务 流程 来 测试 软件 的 多 个 功能 ， 从 而 
整体 评估 软件 对 用 户 的 价值 。 因 为 情景 测试 不 局 限于 特定 的 功能 ， 并 站 
在 用 户 的 立场 更 全 面 地 考察 软件 ， 所 以 它 可 以 友 现 一 些 整 体 设 计 上 的 缺 
Se re ee ee eee 
导致 的 错误 。 


5.6.1 基本 方法 


如 果 缺 少 测试 主题 的 指引 ， 长 流程 的 情景 测试 可 能 会 偏离 方 辐 ， 变 成 漫 
无 目的 地 游 宽 。 为 了 有 效 利 用 时 间 ， 明 确 测试 方向 ， 测 试 人 员 需 要 构思 
一 个 (或 一 组 ) 用 户 使 用 软件 的 故事 ， 然 后 围绕 故事 组 织 测 试 活动 。 以 


下 是 一 个 案例 。 


Microsoft Lync 是 一 款 企业 级 的 统一 通讯 平台 ， 支 持 多 种 形式 的 即时 
通讯 和 在 线 会 议 。 为 了 测试 如 图 5-10 所 示 的 Lync 会 议 功能 ， 测 试 人 员 编 
写 了 如 下 故事 ， 作 为 情景 测试 的 大 纲 。 























U http://lync.microsoft.com/ 。 
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图 5-10 ”使 用 Lync 2013 进 行 视 频 会 议 


Brian Crum 是 Contoso 公 司 的 一 位 经 理 。 周 一 ， 他 打算 组 织 一 个 在 周 
五 举行 的 视频 会 议 ， 邀 请 本 公司 在 其 他 地 区 的 同事 参与 ， 共 同 讨论 
下 一 季度 的 产品 营销 策略 。 他 在 Outlook 创 建 了 一 个 Lync 会 议 的 日 

程 安排 (包含 会 议 议程 、 参 与 会 议 的 拨 入 号 码 、 启 动 Lync 的 链接 

等 ) ， 发 送 给 8 个 同事 。 周 三 ， 他 用 Outlook 更 新 了 会 议 安排 ,添加 
了 更 详细 的 会 议 议 程 ， 并 多 邀请 了 两 个 同事 参加 会 议 。 周 五 ， 他 在 
会 议 前 5 分 钟 打开 笔记 本 电脑 ， 点 击 启 动 Lync 的 链接 ， 登 录 到 Lync 
会 议 中 。 他 检查 了 摄像 头 、 麦 元 风 和 耳机 ， 一 切 正 常 。 不 入， 一 些 
同事 陆续 进入 会 议 ，Brian 通 过 语音 通讯 癌 他 们 问好 ， 并 确认 他 们 

可 以 看 到 他 分 享 的 PowerPoint 约 灯 片 和 摄像 头 视频 流 。 等 到 所 有 与 
会 者 到 齐 ， 他 开始 会 议 ， 讲 解 下 个 季度 的 营销 人 策略， 并 在 Lync 中 播 
放 相 应 的 PowerPoint 约 灯 片 。 在 此 过 程 中 ， 同 事 们 通过 即时 消息 或 
语音 通讯 提出 一 些 问 题 ， 他 一 一 给 予 回 答 。 当 回答 一 个 复杂 问题 

时 ， 他 调 出 Lync 会 议 的 白板 ， 用 电子 笔 透 过 和 触摸屏 在 白板 上 绘制 章 











图 ， 进 行 详细 解释 。 然 后 ， 他 切换 回 PowerPoint 约 灯 片 ， 继 续 讲 
解 。 讲 解 完 毕 后 ， 作 为 会 议 组 织 者 的 Brian 将 演示 权 赋 予 同事 Alex， 
让 他 成 为 演示 者 。Alex 用 Lync 展 示 了 他 的 第 二 个 屏幕 ， 开 始 演示 产 
品 的 新 特性 。 与 此 同时 ，Brian 在 Lync 会 议 中 附 上 一 些 报表 ， 以 便 
与 会 者 下 载 参 考 。 等 Alex 结 束 演 示 ，Brian 重 新 主持 会 议 ， 感 谢 同 事 
KenMeyer 进 行 了 会 议 记 录 ， 并 提示 大 家 参考 共享 的 OneNote 会 议 纪 
要 。 在 获得 大 家 认可 后 ， 他 结束 了 Lync 会 议 。Brian 对 Lync《〈 及 其 
服务 器 〉 在 会 议 中 的 表现 感到 满意 ， 愿 意 下 次 继续 使 用 Lync 来 召开 
视频 会 议 。 


这 是 一 个 很 复杂 的 故事 ， 通 过 举办 多 人 参与 的 视频 会 议 ， 测 试 了 产品 家 
族 的 一 组 功能 。 


。 在 Outlook 中 创建 并 更 新 Lync 会 议 的 日 程 安 排 ， 测 试 了 Outlook 与 
Lync 的 集成 。 


。 使 用 日 程 安排 的 链接 局 动 Lync， 测 试 了 Lync 会 议 的 局 动 。 


© 在 多 人 会 议 中 ， 通 过 视频 、 语 音 、 文 字 等 进行 交流 ， 这 可 能 暴露 一 
些 点 对 点 通讯 所 不 能 发 现 的 缺陷 。 


° i Lync 播 放 PowerPoint 约 灯 片 ， 测 试 了 Lync 对 内 其 多 媒体 的 文 
Fo 

















。 使 用 Lync 白 板 绘制 草图 ， 测 试 了 Lync 对 触摸 屏 和 电子 墨水 的 支持 。 
。 测试 了 Lync 中 PowerPoint 与 白板 的 来 回 切换 。 

。 让 他 人 演示 程序 ， 测 试 了 会 议 控制 权 和 视频 画面 的 切换 。 

。 使 用 Lync 共 享 第 二 个 桌面 ， 测 试 了 Lync 对 多 显示 器 的 支持 。 

测试 了 Lync 对 附件 上 传 和 下 载 的 文 
寺 。 








e 使 用 OneNote 记 录 会 议 内 容 ， 测 试 了 Lync 与 OneNote 的 集成 。 


在 获得 该 故事 之 后 ， 测 试 人 员 要 做 一 些 测试 准备 。 首 先 ， 他 邀请 测试 同 
事 参与 情景 测试 ， 向 他 们 讲解 故事 和 测试 要 点 ， 并 安排 每 位 测试 人 员 扮 











演 一 个 或 两 个 与 会 者 。 然 后 ， 他 准备 11 台 计算 机 ， 并 搭建 测试 环境 。 这 
11 台 计算 机 的 软 硬 件 配置 要 尽 可 能 的 差异 化 ， 例 如 : 有 些 计算 机 拥有 高 
性 能 处 理 器 和 大 内 存 ， 有 些 计算 机 只 拥有 过 时 的 处 理 器 和 小 内 存 ; 有 些 
台式 机 拥有 外 置 的 高 清 摄 像 涉 、 高 档 耳 机 和 麦克 风 ， 有 些 笔记 本 电脑 只 
拥有 分 辩 率 很 低 的 内 置 摄像 头 、 效 果 一 般 的 内 置 麦克 风 与 音响 ， 有 些 计 
算 机 用 电缆 接 入 高 速 网 络 ， 有 些 计 算 机 接 入 无 线 网 络 (Wi-Fi 网 络 、3G 
网 络 等 ) 。 这 样 做 的 目的 是 尽 可 能 模拟 出 各 类 用 户 接 入 Lync 会 议 时 实际 
使 用 的 设备 和 网 络 。 


在 实际 测试 时 ， 每 位 测试 人 员 在 独立 的 房间 中 扮演 各 上 自 的 角色 ， 以 模拟 
出 远程 会 议 的 特点 。 他 们 执行 相应 的 操作 ， 并 密切 注意 任何 异常 情况 ， 

如 视频 的 内 烁 、 约 灯 片 播放 的 停顿 、 音 频 的 爆 音 等 。 如 果 一 位 测试 人 员 
发 现 问 题 ， 他 会 用 Lync 通 知 测试 小 组 暂停 测试 ， 以 便 他 收集 本 机 或 服务 
端的 日 志 、 内 存 转 储 、 硬 件 配 置 等 信息 ， 从 而 报告 问题 的 技术 细节 。 此 
外 ， 测 试 小 组 还 可 以 根据 他 遇 到 的 问题 ， 构 思 出 几 个 小 的 故事 ， 再 做 一 
些 额外 的 调查 ， 以 获得 更 多 的 信息 。 在 一 个 长 流程 的 情景 测试 中 ， 和 暂时 
俩 离 汕 试 方案 ， 做 一 些 短 暂 的 攻击 ， 是 常见 的 训 试 策略 。 这 有 助 于 抓 住 
测试 中 偶然 发 现 的 信息 ， 发 据 出 有 价值 的 信息 或 隐藏 的 缺陷 。 一 段 时 间 
后 ， 测 试 组 织 者 应 该 提示 测试 小 组 回 到 原先 的 故事 继续 测试 。 如 果 测 试 
延续 的 时 间 很 长 ， 测 试 小 组 可 以 中 途 休 电 一 会 ， 一 起 吃 点 东西 哆 点 饮 

料 ， 并 讨论 接 下 来 的 测试 重点 。 在 测试 结束 后 ， 每 位 汕 试 人 员 提 交 所 发 
现 的 缺陷 测试 组 织 者 编写 测试 报告 ， 概 述 测 试 过 程 和 罗 凋 范围 ， 并 提 
出 值得 进一步 调查 的 问题 和 风险 。 


以 上 案例 是 一 个 多 人 参与 的 情景 测试 ， 其 基本 要 点 和 步骤 也 适用 于 单 人 
执行 的 情景 测试 。 


。 顷 写 情景 测试 的 故事 ， 像 用 户 一 样 复杂 地 使 用 产品 。 
。 准备 测试 环境 ， 尽 可 能 模拟 出 用 户 的 使 用 环境 。 


。 在 故事 指引 下 ， 积 极地 测试 ， 并 根据 测 斌 发现， 即席 设计 并 执行 一 
些 汕 试 。 故 事 是 地 图 ， 如 何 具 体 地 探索 需要 测试 人 员 来 动态 导航 。 


。 测试 人 员 提 交 人 缺陷 报告 ， 并 记录 需要 再 调查 的 区 域 和 风险 。 


在 整个 测试 准备 和 执行 过 程 中 ， 测 试 人 员 就 像 是 集 编剧 、 导 演 和 主演 于 
一 身 的 电影 工作 者 。 首 先 ， 他 像 编剧 一 样 书写 测试 剧本 ， 安 排 情节 大 






































纲 ， 


构思 出 引人入胜 的 故事 。 然 后 ， 他 成 为 导 沉 ， 筹 措 测试 需要 的 资 
并 总 控 测 试 进程 。 在 具体 测试 时 ， 他 像 演员 一 样 去 推 各 剧 中 人 物 的 





特点 和 风格 ， 既 参考 现 有 剧本 ， 又 即兴 发 挥 ， 在 故事 的 留 白 处 尽情 演 


经 


事 ， 


年。 有 了 时， 他 会 回 到 导演 的 角度 ， 临 时 加 一 场 戏 ， 以 更 生动 地 展开 故 


或 者 反思 全 局 ， 以 动态 调整 故事 的 发 展 方 同 。 


Cem Kaner 对 于 情景 测试 有 长 期 且 深 入 的 研究 。 他 提出 ， 一 个 好 的 情景 





测试 通 冲 会 具有 如 下 特征 氏 anerl1]。 


基于 连贯 一 致 的 故事 。 情 景 测试 描述 了 用 户 如 何 使 用 软件 ， 并 关 
注 他 们 的 目标 和 情感 。 为 此 ， 测 试 人 员 需 要 思考 并 确定 用 户 的 特 
点 、 他 们 的 目标 、 他 们 使 用 软件 方式 、 他 们 在 故事 中 的 情绪 等 要 


AIN o 


故事 是 可 信 的 。 当 测试 人 员 将 故事 描述 给 项 目 关 系 人 ， 他 们 会 认 
为 故事 很 可 能 发 生 在 用 户 环境 中 。 这 并 不 意味 着 故事 只 能 覆盖 产品 
的 快乐 路 径 ， 而 是 要 求 测试 人 员 深 刻 理 解 用 户 的 任务 和 环境 ， 构 思 
HAMR JIKE 


故事 是 有 推动 力 的 。 当 测试 人 员 报 告 故 事 所 发 现 的 缺陷， 项 目 关 
系 人 会 认为 修复 该 缺陷 是 值得 的 。 为 此 ， 测 试 人 员 可 以 用 一 些 启发 
式 问题 来 帮助 故事 设计 : 谁 会 重视 这 个 故事 描述 的 情景 ? 他 们 为 什 
么 会 重视 这 个 情景 ? 如 果 该 情景 失败 ， 它 会 影响 到 谁 ?” 失 败 造成 的 
最 严重 后 果 是 什么 ?如 果 该 情景 失败 ， 用 户 有 没有 丛 代 方案? 如 果 
丛 代 方案 与 被 测 产 品 无 天 ， 那 么 用 户 为 什么 要 使 用 该 产品 ? 


故事 引入 了 复杂 性 。 测 试 人 员 在 复杂 的 环境 中 以 复杂 的 方式 使 用 
软件 。 故 事 的 复杂 性 根源 于 现实 情景 的 复杂 性 ， 采 访 用 户 了 解 他 们 
的 实际 过 遇 、 使 用 他 们 的 真实 数据 、 模 拟 他 们 的 操作 环境 ， 都 有 助 
于 制定 复杂 且 可 信 的 故事 。 


测试 结果 易于 评估 。 测 试 人 员 和 项 目 关 系 人 能 够 轻松 地 判断 测试 
结果 并 识别 潜在 的 问题 ， 这 对 于 复杂 的 故事 尤为 重要 。 使 用 5.3 市 
介绍 的 基于 一 致 性 的 测试 先知 和 基于 约束 规则 的 测试 先知 ， 能 够 较 
快速 地 判定 测试 结果 。 


























Cem Kaner 还 指出 情景 测试 能 够 超越 简单 的 测试 ， 深 入 地 调 碍 软件 是 人 否 





能 交付 它 应 该 交付 的 价值 [Kaner11]。 有 一 些 测试 方法 能 够 发 现 用 户 在 实 





际 使 用 的 头 几 天 会 及 现 的 缺陷 。 例 如 ， 超 模 漫 游 专 注 于 用 户 界 面 的 测 

试 ， 旨 在 快速 发 现 控件 、 文 字 、 动 画 等 在 视 沉 呈现 上 的 错误 。 如 果 此 类 
错误 被 研发 团队 忽视 ， 它 们 很 快 会 个 用 户 察觉 ， 而 且 软 件 的 用 户 越 多 ， 
发 现时 间 越 短 。 好 的 情景 测试 则 可 以 发 现 资深 用 尸 才 会 遇 到 的 问题 。 这 
批 用 户 长 时 间 的 使 用 产品 ， 积 累 了 几 个 月 其 至 儿 年 的 经 验 ， 会 利用 它 完 
成 重大 的 工作 。 情 景 测试 有 助 于 “浓缩 ”使 用 时 间 和 用 户 经 验 ， 在 较 短 的 
时 间 内 模拟 出 资深 用 户 的 高 级 用 法 、 困 难 使 命 和 复杂 语 境 ， 发 现 软件 的 
深层 次 问题 。 


因为 情景 测试 会 覆 凋 多 个 功能 ， 和 所 要 求 被 测试 的 功能 比较 稳定 ， 较 少 出 
现 阻碍 故事 推进 的 严重 错误 。 因 此 ， 测 试 人 员 需 要 在 功能 级 别 做 足够 的 
测试 ， 使 单独 的 功能 足够 稳定 ， 然 后 做 一 些 集成 级 别 的 测试 ， 使 功能 协 
作 足 够 流畅 ， 之 后 才 进 行 长 流程 的 情景 测试 。 这 说 明 测 试 人 员 需 要 利用 
多 种 测试 技术 ， 在 功能 、 集 成 、 系 统 等 层面 进行 有 针对 性 的 测试 ， 才 能 
逐步 完成 对 软件 产品 的 严密 测试 。 


5.6.2 ”设计 用 户 角 色 


情景 测试 的 核心 是 情景 ， 即 一 个 连贯 一 致 的 故事 。 一 个 好 的 情景 将 帮助 
测试 执行 更 有 效 地 探索 产品 。 本 节 将 介绍 一 些 编写 情景 的 方法 和 技巧 。 


情景 是 讲述 一 位 《或 几 位 ) 用 户 的 故事 ， 因 此 调试 人 员 需 要 全 面 地 理解 
用 尸 ， 了 解 其 使 用 软件 的 目的 、 需 要 完成 的 任务 和 的 操作 软件 的 特征 。 
用 户 角 色 是 一 种 常见 的 用 户 建 模 方 法 ， 能 够 帮助 测试 人 员 从 用 户 的 角度 
思考 软件 。 开 发 专家 Mike Cohn 提 出 了 一 种 构建 用 户 职 责 的 方法 ， 可 以 
有 效 地 描绘 出 产品 需要 文 持 的 人 群 ， 并 自然 衍生 出 用 户 角 色 [Cohn04]。 
基于 该 方法 ， 测 试 人 员 可 以 按 如 下 步骤 构建 用 户 角 色 。 


。 利用 头脑 风暴 ， 列 出 可 能 的 用 户 角色 。 测 试 小 组 (或 项 目 团 队 ) 
组 建 “ 用 户 角 色 工 作 小 组 "”， 进 行头 脑 风 暴 会 议 ， 列 出 一 组 产品 的 用 
户 角色 。 所 谓 用 户 角 色 是 一 个 可 以 代表 一 组 用 户 的 人 物 ， 他 反应 了 
一 个 用 户 群 所 共有 的 特征 。 在 这 个 阶段 ， 与 会 者 的 目标 是 记录 尽 可 
能 多 的 用 户 角 色 ， 而 不 必 在 意 这 些 用 户 是 否 重 登 、 所 代表 用 户 群 的 
是 否 庞大 、 对 产品 成 功 是 否 重 要 等 因 系 。 


。 整理 初始 的 用 户 角 色 ， 识 别 出 目 标 和 特征 有 重 倒 的 用 户 角色 。 
。 整合 用 户 角色 。 如 果 两 个 角色 有 重 登 ， 可 以 创建 一 个 新 的 角色 来 





























涵盖 他 们 的 特征 。 如 果 两 个 角色 很 相似 ， 可 以 舍弃 其 中 一 个 角色 ， 
让 保留 的 角色 反映 其 特征 。 此 外 ， 工 作 小 组 还 应 该 舍弃 对 产品 成 功 
不 太 重 要 的 角色 ， 以 便 将 精力 集中 在 重要 的 角色 上 。 


提炼 用 户 角 色 ， 定 义 具 体 的 角色 特征 。 所 请 角色 特征 是 将 该 角色 
与 其 他 角色 区 别 开 的 事实 ， 常见 的 特征 包括 : 使 用 产品 的 目的 、 使 
用 产品 的 频率 、 对 业务 领域 的 熟悉 程度 、 对 计算 机 的 熟悉 程度 、 对 
产品 的 了 解 程度 等 。 


添加 角色 的 个 人 信息 ， 如 姓名 、 照 片 、 脾 气 、 处 事 风 格 等 ， 令 角 
色 “ 有 了 血 有 肉 ”。 用 户 使 用 产品 时 总 带 有 个 人 特色 和 主观 情绪 ， 而 
好 的 软件 应 该 做 到 善 解 人 意 。 


以 上 用 户 建 模 的 结果 是 一 组 产品 需要 重点 支持 的 用 户 角 色 。 例 如 ， 
PowerPoint 的 测试 人 员 经 过 分 析 和 提炼 ， 可 能 获得 如 下 用 户 角 色 。 他 们 
敌 产 了 不 同类 型 的 用 户 群 ， 能 够 传递 出 目标 用 户 对 软件 的 期 望 。 


Alex 是 一 位 职业 演说 家 ，38 岁 ， 男 性 ， 经 常 在 各 地 的 大 型 场馆 做 演 
讲 。 他 使 用 电子 弥 灯 片 来 增强 演说 的 感染 力 。 对 他 而 言 ， 他 本 人 才 
是 演说 唯一 的 主角 ， 所 以 他 的 幻灯 片 看 上 去 总 是 很 简洁 。 实 际 上 ， 
他 会 对 幻灯 片 的 每 一 个 细节 反复 推 玻 ， 以 求 最 佳 效 果 。 他 会 放大 文 
字 的 尺寸 ， 让 坐 在 远 处 的 观众 也 可 以 轻松 阅读 。 他 会 使 用 高 分 辩 率 
的 图 片 ， 以 便 在 投影 放大 后 图 片 依 然 清晰 动人 。 他 会 要 求 每 个 页 面 
的 配色 都 和 约 灯 乒 整 体 协 调 一 致 ， 不 过 有 时 他 会 故意 引入 醒目 的 颜 
色 来 增强 演说 的 戏剧 效果 。 他 对 PowerPoint 的 一 部 分 功能 很 了 解 ， 

为 了 优质 的 幻灯 片 ， 他 会 深入 尝试 他 感 兴趣 的 功能 ， 但 是 他 需要 花 
更 多 的 时 间 在 演讲 的 研究 、 构 思 和 排演 中 。 


Cameron 是 一 位 商业 分 析 师 ，28 岁 ， 男 性 ， 几 乎 每 周 都 利用 电子 约 
灯 片 回 客户 讲解 其 研究 报告 的 精华 部 分 。 他 工作 积极 ， 动 作 很 快 ， 
是 Microsoft Word、Excel、PowerPoint 和 OneNote 的 重度 用 户 。 他 会 
用 OneNote 保 存 他 收集 的 各 种 资料 、 链 接 、 素 材 和 临时 的 想法 ， 用 
Excel 做 数据 分 析 ， 用 Word 编 写 研究 报告 ， 用 PowerPoint 展 示 来 自 
OneNote、Excel、Word 的 图 片 、 表 格 、 数 据 图 等 对 象 。 在 编辑 幻灯 
片 时 ， 他 会 同时 启动 多 个 应 用 程序 ， 将 大 量 的 内 容 “ 搬 运 ” 到 
PowerPoint 中 ， 并 实施 必要 的 后 续 编辑 。 最 后 得 到 的 幻灯 片 页 数 众 
多 ， 内 容 丰 宇多 样 ， 文 件 尺 寸 巨 大 。 有 时 ， 他 会 邀请 同事 共同 编辑 
一 个 约 灯 片 文件 ， 让 更 多 的 数据 和 观点 得 到 呈现 。 总 体 上 ， 他 对 



































PowerPoint 的 方方面面 部 很 了 解 ， 能 够 熟练 运用 大 部 分 功能 ， 并 拥 
有 很 强 的 学 习 能 力 。 由 于 工作 压力 很 大 ， 他 比较 没有 耐心 ， 当 产品 
反应 述 印 或 出 现 漫 长 的 进度 条 时 ， 他 会 最 得 有 些 焦躁 。 


Stephanie 是 一 个 大 学 生 ，20 岁 ， 女 性 ， 经 党 需要 提交 研究 报告 以 获 
得 课程 成 绩 和 学 分 。 有 时 ， 任 课 的 教授 不 但 要 求学 生 提 区 书面 报 
告 ， 还 会 面试 他 们 ， 要 求 他 们 进行 口头 报告 。 为 了 提高 课程 成 绩 ， 
Stephanie 会 制作 电子 幻灯 片 来 帮助 宣讲 。 她 是 一 个 聪明 的 学 生 ， 但 
是 对 于 计算 机 和 软件 的 细节 不 感 兴 趣 。 她 的 目标 是 尽快 完成 看 上 去 
不 错 的 约 灯 片 ， 以 便 周 末 去 滑雪 。 虽 然 她 不 会 深入 研究 
PowerPoint， 但 是 她 可 不 希望 丑陋 的 幻 杂 片 给 教授 留 下 恶劣 的 第 一 
如 果 产 品 能 够 帮助 她 快速 制作 出 典雅 大 方 的 幻灯 片 ， 她 会 感 
| 很 满意 。 


根据 这 些 用 户 角 色 ， 测 试 人 员 可 以 更 流畅 地 设计 测试 故事 ， 因 为 具体 形 
象 让 测试 人 员 能 够 快速 “入 戏 ”。 当 测试 人 员 的 头脑 沉浸 在 用 户 角 色 和 环 
境 中 ,一些 角色 特有 的 目标 、 任 务 和 情节 就 会 自然 浮想 。 例 如 ， 他 构思 
出 :“Alex 坐 飞机 去 还 远 的 城市 研究 ， 在 孤单 的 旅程 中 ， 他 断断续续 地 
修改 约 灯 片 ， 并 在 演讲 的 前 夜 做 最 后 的 推 殴 和 人 修改。 演讲 时 ， 他 利用 
PowerPoint 的 演讲 模式 ， 精 确 地 掌握 演讲 的 进度 和 时 间 ， 并 在 演讲 结束 
后 将 约 灯 片 发 布 到 上 自己 的 网 站 。” 又 例如 ， 他 编写 出 : “老板 癌 Cameron 
和 其 他 两 个 同事 下 达 指 令 ， 要 求 他 们 立即 完成 一 份 回 大 客户 报告 的 幻灯 
片 。 于 是 ， 他 们 利用 PowerPoint 的 共同 编辑 功能 同时 编辑 一 份 约 灯 万 。 
大 多 数 时 候 ， 他 们 工作 在 目 己 的 约 灯 页 ， 但 有 时 也 会 工作 于 同一 张 约 灯 
页 。 在 此 过 程 中 ，PowerPoint 会 和 存储 幻灯 片 的 服务 器 配合 ， 以 避免 潜 
在 的 修改 冲突 。” 在 构思 故事 时 ， 测 试 人 员 要 围绕 产品 期 望 交 付 的 价 
值 ， 用 故事 去 检查 软件 确实 达到 了 它 对 用 户 的 承诺 。 


除了 用 户 角 色 ， 测试 人 员 还 可 以 访问 实际 用 户 ， 去 获得 他 们 的 真实 故 
事 。 很 多 时 候 ， 面 对 面 的 交流 能 够 提供 其 他 任何 方法 不 能 获得 的 信息 。 
通常 ， 测 试 人 员 不 是 实际 用 户 ， 或 者 只 能 代表 广大 用 户 群 的 一 小 部 分 用 
己 。 一 些 用 户 的 目标 、 任 务 和 行为 ， 可 能 是 测试 人 员 前 所 未 见 、 无 法 想 
象 的。 因此 ， 如 果 有 机 会 ， 测 试 人 员 可 以 利用 正式 或 非 正式 的 形式 采访 
实际 用 户 ， 与 他 们 交谈 或 共同 操作 软件 ， 以 了 解 他 们 为 什么 使 用 产品 、 
要 完成 哪些 任务 、 如 何 操作 产品 、 感 到 哪些 困惑 和 不 满 、 对 未 来 产品 有 
何 种 期 望 等 。 在 采访 过 程 中 ， 测 试 人 员 可 以 请 客户 讲述 几 个 与 产品 有 关 
的 印象 深刻 的 故事 。 这 些 故事 往往 强 含 了 用 户 的 情感 (否则 不 会 留 下 深 


























刻 的 影响 )， 体 现 了 一 些 深层 次 的 目标 和 动机 ， 反 映 了 现 有 产品 的 优 后 
或 不 足 ， 值 得 测试 人 员 认 真 参 考 。 


除了 正面 角色 ， 测 试 人 员 有 时 得 考虑 负面 角色 。 例 如 ， 一 些 亚 意 的 攻击 
者 会 在 网 络 上 散布 精心 构造 的 PowerPoint 文 档 。 当 这 些 文档 被 打开 时 ， 

它们 会 令 PowerPoint 执 行 一 段 和 恶意 代码 ， 从 而 控制 他 人 的 计算 机 或 甸 取 
私密 信息 。 为 了 保护 正面 角色 的 利益 ， 测 试 人 员 需 要 研究 负面 角色 的 动 
机 、 目 标 、 能 力 和 手段 ， 并 设计 相应 的 测试 方案 。 因 为 安全 测试 的 特殊 
性 和 技术 性 ， 该 方案 需要 包括 一 组 针对 特定 安全 风险 的 专项 测试 技术 。 
和 

想法。 


在 有 些 项 目 团队 ， 产 品 经 理会 定义 用 户 角 色 。 测 试 人 员 可 以 利用 这 些 成 
果 ， 直 接 用 于 情景 测试 的 设计 。 如 果 测 试 人 员 发 现 茶 个 角色 很 重要 ， 但 
是 被 产品 经 理 遗 漏 了 ， 他 可 以 与 产品 经 理 面 对 面 地 交谈 ， 了 解 背后 的 原 
因 ， 探 讨 更 好 的 角色 设计 。 此 外 ， 有 些 项 目 团 队 会 编写 用 例 或 用 户 故 事 
以 帮助 软件 设计 。 测 试 人 员 可 以 秉持 “ 拿 来 主义 ”， 将 这 批 基 于 情景 的 文 
案 修改 为 针对 用 户 角 色 的 测试 故事 。 有 了 时， 测试 人 员 可 以 将 多 个 用 例 或 
用 户 故 事 合并 为 一 个 大 型 的 情景 测试 ， 以 实施 复杂 的 长 流程 测试 。 改 写 
0 
评估 。 






































5.6.3 ”和 情景 测试 与 漫游 测试 


情景 测试 和 漫游 测试 可 以 很 好 地 配合 与 协作 。 在 基本 方法 上 ， 它 们 都 不 
依赖 刻板 的 测试 脚本 ， 而 是 让 测试 人 员 在 游历 软件 的 过 程 中 友 气 新 信 

恩 ， 构 思 并 执行 新 的 测试 用 例 ， 因 此 能 够 相互 协作 。 在 测试 方向 上 ， 情 
景 测试 使 用 故事 作为 指导 ， 专 注 于 用 户 的 价值 、 任 务 和 体验 ， 而 漫游 测 
试 的 主题 则 更 加 多 样 ， 可 以 是 一 个 司 发 式 指 导 词 、 一 个 隐喻 、 一 组 需要 
窗 盖 的 对 象 、 一 些 需 要 调查 的 问题 、 一 批 产 品 风 险 每。 将 它们 组 合 使 

用 ， 可 以 发 挥 各 目的 长 处 ， 形 成 互补 的 效果 。 


在 执行 漫游 测试 过 程 中 ， 测 试 人 员 可 以 设计 一 些 情景 ， 通 过 演绎 这 些 故 
事 来 丰富 漫游 测试 的 测试 手段 。 以 下 是 一 些 典型 的 例子 。 
。 在 实施 用 户 漫游 时 ， 测 试 人 员 需 要 履 兰 典型 的 用 户 情景 。 他 选择 一 


个 用 户 角色 作为 此 次 漫游 的 主角 ， 根 据 他 的 业务 情景 ， 设 计 出 一 组 
故事 来 进行 测试 。 在 执行 故事 的 过 程 中 ， 测 试 人 员 推 豆 用 户 对 软件 














的 期 望 ， 答 试 他 可 能 使 用 的 方法 ， 用 有 挑 碾 性 的 任务 来 检查 软件 对 
用 户 的 支持 。 


在 实施 价值 漫游 时 ， 测 试 人 员 根 据 产品 远景 、 需 求 文档 、 市 场 文宣 
等 材料 确定 产品 期 望 交 付 的 一 组 核心 价值 。 针 对 每 个 核心 价值 ， 他 
编写 儿 个 故事 ， 来 检查 软件 确实 达到 了 它 的 承 证 。 


在 实施 情绪 漫游 时 ， 测 试 人 员 需 要 重点 关注 产品 在 不 同 用 户 情绪 下 
的 表现 ， 以 及 它 的 行为 对 用 户 情 绪 的 有 影响。 为 此 ， 他 可 以 设计 几 个 
快乐 、 焦 息 、 紧 张 、 恼 怒 的 情景 ， 然 后 在 这 些 情绪 氛围 中 扮演 用 
户 ， 尽 力 模仿 用 户 的 行为 模式 。 一 个 生动 的 故事 能 够 帮助 测试 人 员 
找到 用 户 的 “感觉 "， 很 自然 地 模拟 出 用 户 的 操作 ， 并 切 喘 感受 到 软 
件 的 行为 对 使 用 者 的 情绪 有 何 影 啊 。 














在 实施 情景 测试 的 过 程 中 ， 测 试 人 员 也 可 以 利用 一 些 漫游 测试 方法 ， 让 
它们 来 指引 故事 的 有 发展， 以 拓宽 测试 的 视野 。 以 下 是 一 些 典型 的 例子 。 





测试 人 员 利用 苋 争 者 漫游 来 设计 故事 。 他 漫游 竞争 产品 ， 并 收集 
大 众 对 它 的 评价 ， 接 着 设计 一 组 故事 来 展示 了 它 的 优点 和 魅力 。 然 
后 ， 测 试 人 员 答 试用 被 测 产品 去 再 现 这 些 故 事 。 也 许 被 测 产 品 提供 
了 不 同 的 功能 集合 ， 但 是 它 应 该 有 能 力 用 目 己 的 方式 去 完成 故事 ， 
并 获得 令 人 满意 的 结果 。 该 测试 比较 了 两 个 竞争 性 的 产品 ， 检 查 了 
被 测 产品 的 实际 竞争 力 。 此 外 ， 测 试 人 员 还 可 以 编写 一 些 故事 来 展 
示 葛 争 对 手 的 不 足 ， 然 后 用 被 测 产品 来 答 试 这 些 故事 ， 以 检查 被 训 
产品 能 个 殉 服 这 些 困 难 。 


情景 测试 可 以 利用 快递 漫游 来 退 踪 一 个 重要 业务 对 象 的 生命 周期 
。 例 如 ,订单 是 在 线 交 易 的 核心 对 象 ， 从 新 建 到 关闭 会 历经 多 个 状 
态 、 涉 及 多 个 业务 模块 。 测 试 人 员 可 以 设计 一 个 故事 以 完整 地 禾 盖 
订单 的 状态 变迁 ， 然 后 采用 快递 漫 洲 来 跟随 订单 走 遍 交易 系统 的 各 
个 模块 。 在 测试 过 程 中 ， 故 事 提 供 了 业务 背景 和 用 户 目 标 ， 相 比 单 
E E 
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通过 故事 所 表达 的 业务 场景 测试 了 它们 之 间 的 交互 。 构 思 一 个 有 意 
义 的 故事 会 推动 测试 人 员 理 解 对 象 之 间 的 联系 ， 从 业务 和 技术 等 角 
度 考 虑 它们 的 协作 ， 有 助 于 更 好 的 测试 设计 。 








除了 基于 履 盖 的 漫游 方法 ， 测 试 人 员 在 执行 情景 测试 的 过 程 中 ， 还 可 以 
使 用 一 些 基于 风险 的 漫游 方法 和 快速 测试 方法 ， 对 软件 功能 进行 短暂 但 
猛烈 的 攻击 。 这 有 助 于 发 现 一 些 在 压力 下 才 会 其 露 的 上 问题。 有时， 此 类 
测试 会 开辟 出 新 的 情节 ， 让 测试 人 员 设 计 出 更 多 的 故事 。 


5.6.4 肥 蛙 剧 测试 


Atte 








剧 测试 是 情景 测试 的 特例 。 其 及 明 者 Hans Buwalda 建 议 测试 故事 应 


该 像 电视 肥皂 剧 一 样 精 彩 动人 [Buwalda04]。 具 体 而 言 ， 一 个 测试 故事 
应 该 具备 以 下 特征 。 


源 于 真实 生活 。 好 的 肥 旺 剧 来 源 于 生活 ， 即 便 剧 情 难免 夸张 ， 但 
是 其 场景 和 细节 充满 真实 感 ， 让 观众 感到 杀 切 可 信 。 测 斌 故事 也 要 
基于 用 户 的 实际 场景 ， 聚 焦 可 能 真实 发 生 的 故事 。 这 并 不 是 束缚 测 
试 人 员 的 手脚 ， 而 是 建议 他 多 了 解 用 户 和 业务 。 深 入 地 研究 用 户 领 
域 、 挖 掘 业 务 细 节 ， 可 以 获得 深刻 的 情景 ， 揭 示 出 产品 的 深层 次 错 
误 。 


夸张 。 肥 电 剧 之 所 以 好 看 ， 是 因为 它 夺 大 了 生活 中 的 吾 怒 及 乐 ， 
用 戏剧 性 的 手法 让 故事 曲折 动人 。 测 试 故事 也 需要 用 戏剧 化 的 情节 
去 考验 软件 。 测 试 人 员 用 复杂 的 数据 、 困 难 的 问题 、 沉 重 的 负载 来 
挑战 软件 ， 因 为 现实 世界 是 如 此 复兴， 那些 看 似 奔 张 的 情况 本 来 束 
是 生活 的 一 部 分 。 


RAG 。 肥 旺 剧 将 大 量 的 人 物 和 场景 压 纵 在 45 分 钟 的 时 间 内 ， 并 展 
开 多 个 支线 情 市 ， 让 它们 相互 交织 并 彼此 推动 。 肥 虹 剧 测试 也 需要 
在 一 个 故事 中 浓缩 多 项 业务 ， 通 过 同时 展开 多 个 复杂 的 情况 以 检查 
软件 的 设计 。 软 件 也 许可 以 分 别处 理 每 一 项 业务 ， 但 是 当 多 个 业务 
同时 提交 且 相 互 牵 扯 时 ， 软 件 的 设计 缺陷 可 能 会 让 用 户 一 筹 葛 展 。 


乐趣 。 肥 旺 剧 的 最 大 吸引 力 是 剖 给 观众 乐趣 ， 而 充满 乐趣 的 测试 
故事 能 让 测试 人 员 热 情 高 涨 ， 思 维 活跃 。 软 件 测试 是 高 水 平 的 智力 
活动 ， 需 要 测试 者 全 力 投 入 。 有 趣 的 测试 情景 不 但 可 以 帮助 测试 人 
员 全 身心 投入 ， 而 且 能 够 激发 测试 人 员 的 灵感 ， 让 他 们 发 展 出 更 好 

















的 文 线 和 细节 。 


根据 肥 虹 剧 测试 的 特征 ， 可 以 用 更 夸张 的 场景 将 5.6.1 节 的 故事 改写 为 下 
面 的 样子 。 


Brian Crum 是 Contoso 公 司 的 总 裁 。 他 从 欧洲 的 总 部 飞 到 纽约 主持 新 
产品 的 发 布 会 。 他 原 打算 周一 飞 回 欧 洲 ， 在 周三 主持 全 体 员 工大 
会 ， 谁 知 周一 当天 暴风 雨 突 玲 纽约， 导致 所 有 航班 被 取消 。 无 奈 之 
下 ， 他 突然 想到 可 以 用 Lync 进 行 视频 会 议 ， 便 吟 只 秘 书 Bonnie 安 排 
一 个 全 体 欧 洲 员工 参加 的 Lync 会 议 ， 顺 便 也 邀请 亚洲 的 员工 一 起 参 
加 。 于 是 ，Bonnie 安 排 了 一 个 跨 3 个 时 区 、 包 含 1000 多 个 与 会 者 的 
视频 会 议 。 会 议 当 天 ，Brain 和 1000 多 个 员工 陆 陆 续 续 登录 到 Lync 
会 议 中 。Brain 看 着 Lync 中 “一 望 无 际 ” 的 与 会 者 列表 ， 感 到 很 满意 ， 
于 是 在 即时 消息 的 窗口 键入 h 记 并 发 送 。 在 几 秒 内 ， 有 近 百 名 员工 
回复 问候 ， 即 时 消息 的 窗口 飞快 地 滚 过 他 们 的 消息 。Brian 转 头 对 
在 另 一 台电 脑 上 参与 会 议 的 Bonnie 说 : “我 要 开始 会 议 了 ， 请 帮 有 我 
做 记录 。” 然 后 ， 他 取消 麦克 风 的 静音 ， 打 开 摄 像 涉 ， 启 动 
PowerPoint 分 享 ， 几 秒 种 后 他 的 视频 和 约 灯 片 图 像 传 递 到 欧洲 和 亚 
洲 。 在 Brian 演 讲 的 过 程 中 ， 几 千 名 员工 都 可 以 看 到 他 的 视频 和 分 
享 的 幻灯 片 。 因 为 通信 距离 跨越 大 洋 ， 视 频 和 幻灯 片 动画 有 一 些 延 
迟 ， 但 是 总 体 还 算 流 畅 。 演 讲 结束 后 ，Brian 将 演示 权 赋 予 在 欧洲 
的 副 总 裁 Alex， 让 他 报告 公司 在 欧洲 运营 的 情况 。 很 快 ，Brian 和 其 
他 与 会 者 看 到 Alex 的 视频 信号 ，Alex 分 享 了 他 的 第 二 个 屏幕 ， 用 
Excel 的 Power View 展 示 了 多 幅 动 态 图 表 ， 介 绍 了 欧洲 业务 在 过 去 
一 个 季度 的 变化 。 流 畅 的 视频 很 好 地 展示 了 动态 图 表 的 动画 效果 ， 
Alex 的 报告 很 成 功 。 人 然后，Alex 将 演示 权 转 移 给 亚洲 的 副 总 裁 
Ken， 请 他 介绍 亚洲 业务 的 情况 。 当 Ken 结 束 报告 ，Brian 重 新 主持 
会 议 ， 他 宣布 进入 Q&A 环 节 ， 请 与 会 者 提问 。 于 是 ， 有 几 十 个 人 
开始 键入 问题 ， 很 快 即 时 通讯 窗口 就 翻 过 去 好 几 屏 。Brian 只 好 随 
机 挑选 几 个 回答 。 在 回答 过 程 中 ，Brian、Alex、Ken 轮 流 发 言 ， 并 
不 时 地 相互 补充 。 与 会 者 可 以 同时 看 到 他 们 的 视频 ， 听 到 他 们 的 声 
音 。 终 于 ， 大 会 临近 尾声 ，Brian 提 示 大 家 此 会 议 有 共享 的 OneNote 
会 议 纪要 (由 Bonnie 记 录 ) ， 与 此 同时 他 、Alex 和 Ken 分 别 上 传 了 
会 议 所 使 用 的 幻灯 片 和 数据 文件 ， 供 大 家 下 载 。 在 感谢 大 家 参与 
后 ，Brian 结 束 了 Lync 会 议 。 


除了 涵盖 原故 事 所 有 的 测试 点 ， 以 上 故事 还 测试 了 更 复 洒 的 情况 。 
































。 在 Outlook 中 创建 跨 时 区 的 Lync 会 议 。 


。 在 上 于 人 的 会 议 中 ， 通 过 视频 、 语 音 、 文 字 等 进行 交流 。 这 给 Lync 
服务 器 集群 带 来 了 巨大 的 工作 负载 ， 根 本 性 地 改变 了 测试 情景 。 在 
低 负 载 情 况 下 可 以 通过 的 测试 有 可 能 在 这 样 的 负载 下 失败 。 


。 测试 了 近 百 人 同时 输入 文字 的 情况 。 
。 测试 了 多 人 同时 说 话 的 情况 。 
。 测试 了 多 人 同时 上 传 数据 的 情况 。 


在 实际 测试 过 程 中 ， 测 试 人 员 还 可 以 引入 更 夺 张 的 测试 想法 。 例 如 ， 他 
可 以 模拟 几 十 个 人 同时 说 话 或 十 儿 个 人 同时 分 至 视频 的 情况 ， 以 测试 这 
些 情景 对 Lync 服 务 器 和 客户 端的 影响 。 这 些 高 负载 的 场景 将 暴露 出 软件 
a 
> 现 o 


5.6.5 ”虚拟 业务 


在 情景 测试 中 ， 创 建 并 运 维 虚拟 业务 是 一 项 第 见 的 测试 方法 。 例 如 ， 测 
试 数据 库 产 品 时 ， 测 试 人 员 可 以 基于 被 测 数 据 库 开发 一 个 库存 管理 系 

统 ; 测试 B2C 在 线 丙 城 时 ， 测 试 人 员 以 电 丙 〈 卖 家 ) 的 里 份 搭建 一 个 在 
线 专 卖 店 ， 并 使 用 虚拟 买 家 模拟 出 上 架 、 下 单 、 出 货 、 退 货 、 补 货 等 业 
务 行为 ， 测试 报表 软件 时 ， 测 试 人 员 用 和 被 测 产品 制作 本 部 门 的 季度 营 收 
报表 ， 并 发 布 给 测试 小 组 成 员 审 阅 。 运 营 虚拟 业务 ， 可 以 帮助 测试 人 员 
考察 产品 在 实际 业务 环境 中 的 表现 ， 不 但 可 以 测试 到 重点 的 业务 和 情 

景 ， 还 可 以 履 冀 一 些 不 经 第 执行 但 是 很 重要 的 操作 ,例如 数据 库 的 备份 
与 恢复 、 在 线 数据 的 导出 与 导入 、 报 表 的 共享 与 反馈 等 。 


除了 情景 测试 的 一 般 特 性 外 ， 测 试 人 员 还 可 以 参考 如 下 建议 ， 使 基于 虚 
拟 业 务 的 测试 过 程 更 加 有 力 。 


。 业务 主题 可 以 戏剧 化 。 测 试 人 员 可 以 选择 一 个 有 趣 的 主题 作为 业 
务 的 目标 。 人 例如， 测试 PowerPoint 时 ， 测 试 人 员 以 “吸血 鬼 攻 击 完全 
防备 攻略 ”为 主题 ， 创 建 一 个 幻灯 片 文档 。 这 个 主题 看 似 “ 无 稽 ”， 
但 有 潜在 的 正面 作用 。 一 方面 ， 它 上 暗示 测试 是 “无 约束 ”的 ， 让 测试 
人 员 用 更 发 散 的 思路 去 设计 测试 ， 另 一 方面 ， 互 联网 上 有 大 量 此 类 





























主题 的 动漫 、 电 影 和 资料 ， 测 试 人 员 很 容易 获得 相关 素材 来 创作 约 
TEH. ÆRE, “有 趣 ? 征 一 个 重要 的 测试 推动 力 ， 它 激发 了 测试 
人 员 的 兴趣 ， 引 发 了 更 多 的 测试 想法 。 


工作 成 果 要 追求 高 品质 。 测 试 人 员 应 该 用 高 质量 标准 去 要 求 测试 
过 程 产 生 的 业务 成 果 。 如 果 测 试 结果 是 产生 一 份 PowerPoint 约 灯 
片 ， 那 么 该 幻灯 片 应 该 是 一 份 可 以 被 公开 发 布 的 、 在 广大 观众 中 获 
得 好 评 的 优质 文档 ， 它 不 但 拥有 丰富 的 内 容 ， 还 具备 精致 的 排版 。 
高 质量 标准 意味 着 强力 的 约束 ， 而 真实 用 户 在 编辑 文档 时 也 面临 多 
种 现实 约束 。 好 的 软件 会 帮助 用 户 去 应 对 约束 ， 而 不 是 让 他 们 感到 
挫折 ， 这 是 情景 测试 的 检查 重点 。 此 外 ， 高 质量 标准 要 求 测试 人 员 
对 文档 的 内 容 和 外 观 进行 精确 的 控制 ， 这 会 让 他 访问 软件 的 细部 功 
能 ， 从 而 促进 了 测试 的 % 采 度 ”。 


测试 手段 要 多 样 化 。 一 个 用 户 往 往 以 固定 的 模式 去 使 用 软件 ， 所 
访问 的 特性 集合 也 是 有 限 的 ， 但 是 一 组 用 户 会 覆盖 软件 的 大 部 分 特 
性 。 为 了 提高 测试 的 “广度 ”， 训 试 人 员 应 该 时 刻 提醒 目 己 去 使 用 疝 
未 尝试 的 特性 。 例 如 ， 在 测试 PowerPoint 时 ， 他 可 以 考虑 在 一 个 页 
面 中 使 用 尽 可 能 多 的 特性 ， 并 确保 最 终 效 果 是 美观 一 致 的 。 这 要 求 
他 综合 并 协调 多 个 特性 的 效果 ， 通 过 精细 地 控制 来 组 织 多 种 页 面 元 
素 。 这 些 测 试 会 在 一 个 局 部 “浓缩 ?多 个 功能 ， 有 助 于 发 现 功能 交互 
的 细 市 问题 。 


业务 数据 要 具有 真实 性 。 许 多 时 候 ， 测 试 人 员 很 难 预测 用 户 会 使 
用 何 种 数据 ， 自 行 设计 的 测试 数据 很 可 能 不 能 窗 六 重 要 的 用 户 情 
景 。 为 了 提 蜗 测试 数据 的 质量 ， 测 试 人 员 需 要 尽量 收集 用 户 的 业务 
数据 ， 通 过 技术 手段 抹 去 用 户 的 私密 信息 后 ， 将 数据 用 于 测试 。 最 
简单 的 方法 是 在 虚拟 业务 中 直接 使 用 这 批 数据 ， 让 产品 提前 经 受 真 
实数 据 的 考验 。 在 此 基础 上 ， 测 试 人 员 分 析 用 户 数 据 的 特征 ， 总 结 
出 它 的 数值 分 布 和 变化 规律 ， 然 后 将 获得 的 知识 用 于 设计 新 的 测试 
数据 。 例 如 ， 测 试 人 员 分 析 在 线 系统 的 运营 日 志 ， 分 析出 每 月 的 业 
务 量 呈 现 稳定 增长 的 态势 。 于 是 他 根据 当前 趋势 ， 估 算出 新 版 本 上 
线 时 的 业务 量 和 可 能 的 峰值 ， 然 后 构造 数据 来 测试 新 版 本 。“ 真 
实 ” 的 情景 总 是 在 变化 的 ， 不 存在 一 成 不 变 的 测试 情景 。 测 试 人 员 
需要 关注 变化 的 业务 领域 ， 并 及 时 调整 测试 集 略 。 


虚拟 业务 是 相对 复 末 的 测试 ， 往 往 需 要 测试 小 组 投入 大 量 的 人 力 和 时 
间 。 如 果 仔 细 设 计 并 认真 执行 ， 它 能 提供 其 他 测试 方法 难以 获得 的 重要 


















































言 轧 。 特 别 是 ， 它 可 以 揭示 出 产品 的 问题 和 局 限 对 用 户 的 业务 有 何 影 
啊 ， 从 而 更 真实 地 评估 出 产品 的 价值 。 


5.7 多 样 地 选择 测试 技术 


面 对 多 种 多 样 的 测试 技术 ， 测 试 人 员 的 任务 是 选择 合适 的 技术 应 用 于 当 
前 的 项 目 。 对 此 ， 我 建议 测试 人 员 参 考 Cem Kaner, James Bach 和 Bret 
Pettichord 在 《软件 测试 经 验 与 教训 》 一 书 中 关于 测试 策略 的 论述 
[Kaner01]。 本 节 简 介 他 们 的 观点 ， 并 给 予 必要 的 解释 。 


测试 策略 是 一 组 指导 测试 设计 和 测试 搁 术 选择 的 想法 。 它 通常 概述 了 测 
试 目 标 和 实施 方法 ， 并 提供 了 技术 选择 的 依据 。 例 如 ， 开 发 团队 对 代码 
进行 了 大 量 重 构 ， 他 们 将 新 的 构建 提交 给 测试 小 组 ， 硕 望 发 现 重 构 引 入 
的 缺陷 。 对 此 ， 不 同 的 测试 小 组 会 采用 不 同 的 测试 全 上 略 。 


测试 策略 1 : 测试 小 组 安排 3 个 测试 人 员 进 行 检 查 。 一 个 测试 人 员 运 行 
所 有 自动 化 测试 用 例 ， 并 调查 失败 的 测试 用 例 。 一 个 测试 人 员 执 行 功能 
漫游 ， 检 查 所 有 被 修改 的 和 受 影 响 的 功能 ， 在 此 过 程 中 执行 一 些 快 速 测 
试 ， 以 探测 典型 错误 。 一 个 测试 人 员 利 用 测试 小 组 积累 的 用 户 数 据 做 系 
统 测 试 ， 以 检查 产品 能 否 受 普 地 完成 用 户 任 务 。 


测试 策略 2 : 测试 人 员 将 产品 部 车 到 预 友 布 环 境 中 ， 让 它 处 理 上 一 个 月 
的 真实 业务 数据 ， 以 检查 它 能 否 恰 当地 使 用 资源 、 以 预期 的 速度 正确 地 
完成 业务 。 在 测试 过 程 中 ， 测 试 人 员 用 测试 工具 监控 产品 对 各 种 资源 的 
使 用 情况 和 数据 处 理 的 速度 ， 并 反复 运行 测试 脚本 以 检查 输出 结果 是 否 
正确 。 如 果 发 现 资源 泄漏 、 程 序 骨 湿 、 结 果 错 误 等 严重 问题 ， 他 会 暂停 
汕 试 ， 邀 请 程序 员 一 起 来 调查 。 


测试 策略 3 : 测试 人 员 阅 读 代码 变更 集 ， 理 解 重 构 的 意图 和 和 手法， 针对 
每 一 处 重要 修改 ， 设 计 并 执行 一 组 测试 用 例 。 部 分 测试 用 例 被 编码 实 

现 ， 成 为 定期 运行 的 目 动 化 回归 测试 的 一 部 分 。 另 一 些 汕 试用 例 是 半 目 
动 执行 ， 为 此 测试 人 员 需 要 增强 自制 测试 工具 的 功能 。 余 下 的 测试 是 手 
工 执行 ， 且 无 需 自 动 化 或 文档 化 。 


以 上 测试 策略 有 不 同 的 内 容 和 重点 ， 适 用 于 不 同 的 项 目 环 境 。 其 共同 特 
征 是 根据 当前 测试 目标 ， 论 述 即 将 执行 的 测试 和 所 需 的 资源 。 在 测试 执 
行 时 ， 测 试 人 员 会 运用 具体 的 产品 知识 ， 设 计 出 更 细致 的 策略 。 总 体 而 
言 ， 优 秀 的 测试 策略 具有 如 下 4 个 特征 。 
































Fe : 好 的 测试 策略 总 是 根据 产品 的 特点 进行 有 针对 性 的 测 
Tvo 


聚焦 风险 : 测试 人 员 需 要 分 析 项 目 环境 、 产 品 元 隶 、 质 量 要求 等 
方面 的 潜在 问题 ， 让 测试 过 程 可 以 探测 其 中 的 重要 风险 。 


多 种 多 样 : 软件 、 业 务 和 用 户 行为 是 高 度 复杂 的 ， 任 何 单一 的 测 
试 手 段 都 存在 盲点 。 测 试 人 员 需 要 综合 多 种 过 异化 的 汕 试 手段 ， 从 
各 个 角度 考验 软件 。 


讲求 实用 : WAM SS SYM TE cr. BMT Bk UMN CDS A Be 
的 影响 和 约束 。 一 个 过 于 简单 的 测试 策略 不 适合 复杂 的 产品 ， 而 一 
个 繁重 的 测试 集 略 也 不 适合 资源 紧张 的 项 目 。 测 试 人 员 要 平衡 各 种 
因 系 ， 让 测试 集 略 可 以 充分 利用 现 有 资源 ， 对 项 目 作 出 尽 可 能 大 的 


页 献 。 


在 选择 测试 技术 时 ，Cem Kaner 等 推荐 测试 人 员 根 据 多 样 化 折衷 原 则 ， 

综合 运用 多 种 测试 搁 术 进行 测试 。 简 时 地 说 ， 在 有 限 的 测试 资源 约束 
下 ， 将 多 种 测试 执行 到 “足够 好 ?的 水 平 ， 要 优 于 将 一 两 种 测试 执行 到 
完美 水 平 。 长 期 工作 于 一 个 项 目 有 可 能 让 测试 人 员 在 不 知 不 觉 中 进入 
东 个 思维 定 势 ， 以 致 他 总 是 使 用 一 组 固定 的 测试 方法 来 检查 软件 。 然 

而 ， 现 实 世 界 是 开放 的 ， 纹 含 着 无 限 的 可 能 ， 固 定 的 测试 手段 将 不 能 应 
对 变化 的 用 户 、 业 务 和 苋 争 环境 。 为 此 ， 测 试 人 员 需 要 经 党 反思 当前 的 
测试 策略 ， 将 更 多 的 测试 技术 纳入 测试 过 程 。 他 可 以 参考 5.1 节 介绍 的 
六 要 素 分 类 系统 或 敏捷 测试 四 象限 ， 从 所 有 的 分 文 或 象限 选择 合适 的 测 
试 技术 ， 以 增强 不 同 缺陷 的 检 出 能 力 。 


此 外 ， 测 试 专家 还 敏锐 地 指出 项 目的 第 一 个 测试 策略 总 是 错误 的 。 因 为 
制定 初始 测试 集 略 时 ， 测 试 人 员 对 产品 和 项 目 还 缺乏 足够 的 了 解 ， 往 往 
会 忽视 攻 些 重要 的 风险 ， 未 能 安排 恰当 的 测试 活动 。 所 以 ， 测 试 人 员 应 
该 随 着 项 目 进 展 ， 持 续 调整 测试 集 略 ， 通 过 持续 反思 “现在 我 可 以 测试 
什么 ?该 如 何 测 试 ? ”来 识别 新 的 测试 机 会 。 此 外 ， 测 试 人 员 应 该 积极 
利用 测试 达 代 产生 的 信息 来 改进 测试 策略 。 在 夫 代 过 程 中 ， 测 试 人 员 构 
建 测试 模型 并 产生 测试 想法 ， 然 后 通过 测试 执行 来 友 气 新 的 知识 和 信 

恩 。 根 据 这 些 新 知 ， 他 修改 测试 模型 ， 激 及 出 新 的 测试 想法 ， 再 付 诸 实 
践 。 通 过 这 样 的 螺旋 上 升 ， 测 试 质量 会 得 到 持续 提升 。 























5.8 ”小 结 


本 章 介 绍 了 测试 技术 的 分 类 方法 ， 并 讨论 了 基于 局 发 式 方法 的 一 组 测试 

技术 。 

。 所 有 测试 活动 都 会 涉及 范围 (测试 对 象 ) 、 窗 盖 〈 测 试 程度 )、 测 
试 者 、 风 险 、 活 动 〈 测 试 手段 ) 、 评 估 《〈 测 试 先知 ) 和 目标 7 个 方 
面 。 





一 个 具体 的 测试 技术 通常 只 讨论 其 中 的 1~3 个 方面 。 在 实际 使 用 
时 ， 测 试 人 员 还 需要 思考 其 他 方面 。 

局 发 式 方法 针对 复杂 问题 提出 了 一 种 简单 的 、 较 可 能 成 功 的 解决 思 
路 。 因 为 任何 启发 式 方法 都 可 能 失效 ， 测 试 人 员 需 要 综合 使 用 多 个 
局 发 式 方法 。 
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y 








掌握 一 项 测试 技术 需要 “重新 发 明 ” 它 ， 即 通过 实践 加 入 目 身 经 验 和 
项 目 特征 ， 以 获得 新 的 方法 。 


测试 人 员 可 以 针对 重复 出 现 的 测试 问题 ， 提 炼 出 解决 方 采 的 模式 ， 
建 并 上 自己 的 局 发 式 方法 。 

测试 先知 是 识别 软件 失败 的 局 发 式 方法 。 它 不 能 断定 软件 行为 一 定 
正确 ， 只 能 检查 软件 运行 是 否 有 发生 特定 错误 。 

测试 人 员 需 要 从 不 同 关 系 人 的 角度 ， 设 计 多 个 测试 先知 来 检查 软件 
的 行为 。 

漫游 测试 是 在 特定 主题 指导 下 对 产品 进行 探索 ， 不 但 可 以 实施 基于 
履 关 或 风险 的 测试 ， 还 可 以 了 解 产 品 知识 ， 提 供 更 多 的 测试 想法 。 


快速 测试 是 一 组 针对 特定 缺陷 的 攻击 方法 ， 能 够 快速 友 现 典型 的 问 


jel 














情景 测试 利用 一 个 或 一 组 情景 《故事 ) 作为 测试 方案 ， 对 软件 进行 
探索 。 好 的 情景 测试 基于 连贯 一 致 的 、 可 信 的 、 有 推动 力 的 、 复 杂 
的 故事 ， 且 容易 评估 软件 是 否 出 错 。 


好 的 测试 集 略 是 与 产品 相关 、 聚 焦 风险 、 多 种 多 样 、 讲 求实 用 的 。 
测试 人 员 应 该 参考 多 样 化 扩 囊 原则 ， 综 合 运 用 多 种 测试 技术 进行 测 


试 。 
站 
MEL 





第 6 章 测试 开发 


测试 开发 是 为 了 完成 汕 试 使 命 而 进行 的 代码 开发 与 维护 活动 。 它 服务 于 
软件 项 目的 总 体 目 标 ， 利 用 计算 机 的 能 力 来 实现 更 好 的 测试 。 随 着 计算 
机 性 能 和 软件 技术 的 快速 发 展 ， 测 试 开 发 已 经 成 为 最 基础 、 节 重要 的 测 
试 手段 之 一 。 为 了 持续 提高 测试 效率 和 产品 质量 ， 测 试 人 员 需 要 分 析 当 
前 项 目的 测试 需求 ， 将 合适 的 开发 技术 以 合理 的 策略 应 用 于 测试 开发 。 


测试 开发 往往 要 求 测试 人 员 在 代码 编写 、 调 试 、 维 护 上 投入 可 观 的 时 间 
和 精力 。 如 果 这 些 投入 不 能 带 来 相应 的 回报 ， 测 试 小 组 束 浪 费 了 原本 可 
用 于 其 他 测试 活动 的 资源 。 为 了 让 测试 开发 交付 应 有 的 价值 ， 测 试 人 员 
再 要 建立 正确 的 观念 ， 运 用 合理 的 开发 方法 。 为 此 ， 本 章 将 讨论 测试 开 
发 的 分 类 ， 并 介绍 一 些 开发 思路 和 策略 ， 供 测试 人 员 在 实践 中 参考 。 











6.1 测试 开发 分 类 
测试 开发 的 对 象 是 测试 程序 ， 根 据 测试 程序 的 用 途 可 以 将 测试 开发 大 至 


分 为 两 类 。 


。 目 动 化 测试 开发 与 维护 自动 执行 的 测试 用 例 。 这 批 测试 用 例 的 准 
备 、 执 行 、 检 验 、 清 理 和 报告 都 是 自动 完成 的 。 目 动 化 测试 的 典型 
例子 是 用 xUnit 测 试 框架 编写 的 自动 化 单元 测试 
[WikipediaX Unit13]. 


。 计算 机 辅助 测试 开发 与 维护 帮助 完成 测试 任务 的 工具 。 其 常见 的 
应 用 领域 包括 产品 分 析 、 测 试 环 境 管 理 、 测 试 数据 生成 、 软 件 调 
试 、 测 试 结果 分 析 与 管理 等 。 


在 本 质 上 ， 自 动 化 测试 是 一 种 计算 机 辅助 测试 ， 即 自动 执行 的 测试 用 例 
也 是 帮助 完成 测试 任务 的 工具 。 因 为 测试 用 例 是 非常 重要 的 基础 工具 ， 
是 许多 团队 强烈 依赖 的 质量 保障 工具 ， 所 以 它 被 独立 出 来 做 专门 的 研 
究 。 这 是 合理 且 现 实 的 划分 策略 。 不 过 ， 正 因为 自动 化 测试 和 计算 机 辅 
助 测试 在 概念 上 有 重 登 ， 所 以 一 些 测试 代码 兼 有 测试 用 例 和 测试 工具 的 
特征 。 例 如 ，5.3.3 节 介绍 了 Harry Robinson 测 试 谷 歌 地 图 时 所 采纳 的 测 
试 开发 策略 。Harry 的 测试 程序 调用 谷歌 地 图 ， 获 得 两 个 地 点 之 间 的 导 
航路 线 ， 然 后 用 一 组 规则 检查 导航 路 线 ， 以 发 现 违反 规则 的 导航 路 线 。 
该 程序 可 以 看 作 自 动 化 测试 ， 每 一 对 地 点 就 是 一 条 测试 用 例 ， 其 执行 、 
检查 和 报告 都 是 自动 完成 的 。 测 试 小 组 可 以 将 这 批 测 试用 例 当 做 回归 测 
试用 例 集 ， 通 过 定期 运行 来 发 现代 码 改动 引入 的 错误 。 不 过 ，Harry 的 
程序 并 不 断定 某 条 导航 路 线 出 错 ， 而 是 提交 “疑似 错误 案例 ”给 测试 人 员 
做 进一步 调查 。 从 这 个 角度 ， 它 是 一 个 起 “过 滤器 ”作用 的 测试 执行 与 分 
析 工 具 ， 通 过 执行 海量 的 计算 ， 提 取出 测试 人 员 需 要 研究 的 异常 情况 。 


接 下 来 ， 本 章 将 分 别 讨论 自动 化 测试 和 计算 机 辅助 测试 的 基本 实践 。 虽 
然 它 们 开发 不 同 任务 的 测试 代码 ， 但 是 部 遵 循 相同 的 开发 原则 ， 拥 有 相 
似 的 实现 策略 。 

















6.2 ”注重 实效 的 目 动 化 测试 


上 自动 化 测试 ， 顾 名 思 义 ， 是 计算 机 上 自动 执行 的 测试 。 测 试 人 员 的 开发 对 
象 是 被 计算 机 自动 执行 的 测试 用 例 。 在 许多 项 目 中 ， 自 动 化 测试 用 例 组 
成 自动 化 测试 套件 ， 被 周期 性 地 执行 ， 以 持续 提供 代码 的 质量 信息 。 
为 自动 化 测试 所 带 来 的 影响 是 如 此 深远 ， 软 件 专 家 Martin Fowler 指 出 对 
于 许多 项 目 ， 测 试 已 经 步 入 编程 的 前 沿 和 中 心 位 置 [Meszaros07]。 


为 了 实现 更 有 效 的 自动 化 测试 ， 本 节 讨 论 自动 化 测试 的 目标 和 一 批 值得 
参考 的 实践 方法 。 基 本 想法 是 根据 项 目 语 境 ， 通 过 测试 迭代 开 及 出 注重 
实效 的 目 动 化 测试 。 


6.2.1 目 动 化 测试 的 基本 素 略 


为 了 取得 目 动 化 测试 的 成 功 ， 测 试 人 员 需 要 明确 目标 。 从 根本 上 说 ， 目 
动 化 测试 的 目标 是 拓展 测试 小 组 的 能 力 ， 帮 助 他 们 更 好 地 服务 于 软件 项 
目 。 即 测试 代码 并 不 是 自动 化 测试 的 目标 ， 在 整体 上 优化 测试 效率 和 所 
局 测试 效果 才 是 测试 小 组 奶 求 的 对 象 。 为 此 ， 测 试 小 组 需要 基于 项 目 语 
境 制订 整体 的 测试 计划 〈 包 含 测试 策略 、 保 障 条 件 、 测 试 产 出 等 ) ， 将 
目 动 化 测试 作为 实现 测试 倘 略 的 重要 工具 加 以 有 效 利用 。 


由 于 自动 化 测试 服务 于 项 目 整 体 的 测试 策略 ， 所 以 测试 开发 策略 也 需要 
符合 优秀 测试 策略 的 4 个 特征 : 产品 相关 、 聚 焦 风险 、 多 种 多 样 和 讲求 
实用 [Kaner01]。 


第 一 ， 目 动 化 测试 应 该 切合 当前 产品 。 近 年 来 ， 软 件 开 友 与 测试 技术 
快速 友 展 ， 这 让 测试 人 员 可 以 从 多 个 优秀 的 测试 框架 中 进行 选择 。 此 
外 ， 测 试 人 员 还 可 以 利用 最 新 的 开发 撤 术 来 构建 目 己 的 测试 框架 。 在 选 
择 和 创新 的 过 程 中 ， 技 术 选 型 的 基本 出 发 点 是 上 自动 化 测试 应 该 符合 产品 
和 项 目的 特征 。 这 要 求 测试 人 员 评 佑 当前 项 目 ， 谨 慎 地 选择 实践 方法 和 
开发 技术 ， 并 创造 性 地 将 它们 应 用 于 产品 测试 。 


语 境 驱动 测试 认为 “在 特定 语 境 下 存在 好 的 实践 ， 但 不 存在 最 佳 实 

践 "[ContextDrvienTesting12]。 该 原则 并 非 否 定 现 有 的 开发 原则 和 实践 ， 
而 是 建议 测试 人 员 理 解 并 改造 已 有 的 方法 ， 以 适应 项 目 和 产品 的 特点 。 
例如 , “持续 集成 ?是 公认 的 核心 开发 实践 ， 但 是 不 同 的 团队 会 采用 不 同 






































的 具体 做 法 。 对 于 小 型 项 目 ， 一 次 代码 提交 便 会 触发 一 次 完整 的 构建， 
并 运行 所 有 的 上 自动 化 测试 。 对 于 大 型 项 目 ， 项 目 团 队 也 许 会 每 小 时 做 一 
次 构建 并 运行 BVT， 然 后 在 每 天 晚上 运行 所 有 的 自 动 化 测试 。 对 于 超 
大 型 项 目 ， 做 一 次 完整 的 构建 (包含 BVT)〉 雷 要 几 天 的 时 间 ， 所 以 测试 
小 组 只 会 选择 茶 些 构建 运行 所 有 的 自动 化 测试 ， 自 动 化 测试 的 运行 周 
期 可 能 是 1~2 周 。 可 见 ， 好 的 思 想 在 不 同 环境 中 会 发 展 出 不 同 的 流程 和 
方法 , “因地制宜 ?地 选择 和 应 用 才能 真正 发 挥 思想 的 内 在 价值 。 


第 二 ， 目 动 化 测试 应 该 聚焦 风险 ， 重 点 解决 产品 面临 的 最 大 风险 ， 而 
不 必 强 求 面面俱到 。 在 战术 上 ， 这 要 求 测 试 人 员 采 取 进 攻 的 心态 ， 通 
过 目 动 化 测试 去 迅速 发 现 软件 缺陷 ， 让 程序 员 能 够 快速 地 修复 缺陷 ， 从 
而 获得 平稳 上 且 有 效率 的 开发 过 程 。 


自动 化 测试 面临 的 第 一 个 风险 来 自 于 它 本 号 。 有 时 ， 测 试 人 员 在 编写 和 
维护 测试 程序 上 投入 了 大 量 的 时 间 和 精力 ， 却 没有 获得 相应 的 测试 收 
荔 。 这 浪费 了 测试 资源 ， 减 少 了 其 他 测试 活动 可 用 的 时 间 ， 给 产品 质量 
和 项 目 进度 带 来 了 负面 影响 。 此 外 ， 没 有 成 效 的 上 自动 化 测试 会 挫伤 测试 
人 员 的 士气 ， 让 他 们 对 自动 化 测试 感到 厌倦 ， 以 致 错过 了 一 些 明 显 的 改 
进 测 试 代码 的 机 会 。 


为 了 实施 有 效 的 自动 化 测试 ， 我 建议 测试 小 组 迭代 地 实施 自动 化 测试 。 
在 每 一 个 达 代 中 ， 测 试 小 组 分 析 闫 品 风 险 和 项 目 风 险 ， 列 出 一 组 需要 解 
决 的 问题 。 然 后 ， 选 出 硝 干 高 优先 级 的 、 适 合 自动 化 测试 的 问题 ， 作 为 
目 动 化 测试 的 工作 目标 。 针 对 这 几 个 目标 ， 测 试 小 组 拟定 出 明确 的 开发 
任务 ， 安 排 具 体 人 员 来 负 贡 实现 。 在 达 代 结束 后 ， 测 试 小 组 评估 目标 是 
人 否 达 成 ， 并 分 析 目 动 化 测试 是 否 缓解 了 风险 、 解 决 了 问题 。 评 估 的 目标 
不 是 评价 测试 人 员 的 绩效 ， 而 是 发 现 目 动 化 测试 的 长 处 与 不 足 ， 讨 论 现 
有 目 动 化 末 上 略 的 可 改进 之 人 处。 评估 的 结果 可 以 是 一 页 清单 ， 记 录 了 应 该 
坚持 的 实践 、 需 要 避免 的 陷阱 、 值 得 尝试 的 新 方法 、 吸 行 解决 的 问题 

等 。 之 后 ， 测 试 小 组 根据 当时 的 产品 风险 和 上 一 次 迭代 的 结果 ， 安 排 新 
的 上 自动 化 测试 任务 。 


与 基于 测 程 的 测试 管理 〈 参 见 3.2.13 节 和 4.2.2 节 ) 相似 ， 和 迭代 的 自动 化 
测试 开发 是 一 种 自 适 应 的 测试 策略 ， 它 拥有 如 下 特征 。 


。 时 间 盒 。 测 试 人 员 将 一 个 达 代 作为 一 个 时 间 盒 ， 为 目标 设 定 、 代 
码 开 发 和 结果 评估 提供 明确 的 期 限 和 市 奏 。 通 过 多 个 时 间 盒 的 持续 
努力 ， 测 试 人 员 可 以 积累 多 个 小 成 果 ， 以 获得 强大 的 目 动 化 测试 。 
































人 
项 目 。 


在 时 间 和 资源 约束 下 的 具体 目标 。 时 间 盒 的 基本 元 素 有 两 点 : H 
确 的 时 间 期 限 和 有 具体 的 开发 目标 。 测 试 人 员 可 以 拥有 一 个 长 远 的 开 
发 计划 ， 不 过 对 于 当前 的 时 间 盒 ， 他 需要 根据 项 目 需要 和 可 用 资 

源 ， 安 排 一 组 切实 可 行 的 小 目标 。 小 目标 让 测试 人 员 更 加 专注 于 开 
发 ， 而 且 完成 目标 的 成 就 感 能 够 或 舞 他 更 有 信心 地 工作 。 


聚焦 风险 。 在 设 定 目标 时 ， 训 试 人 员 需 要 着 重 考 虑 项 目 风 险 。 这 
要 求 他 综合 考虑 短期 内 需要 解决 的 问题 和 长 期 有 价值 的 任务 。 在 一 
些 项 目 中 ， 测 试 小 组 总 是 遇 到 许多 “ 突 及 事件 ”， 如 产品 不 能 安装 、 
自动 化 测试 遭遇 大 量 失败 、 严 重 的 缺陷 使 产品 工作 流 中 断 等 。 应 对 
这 些 问题 耗费 了 测试 小 组 大 量 的 精力 ， 使 他 们 无 力 做 更 有 长 远 价 值 
的 任务 。 对 此 ， 一 个 可 行 的 荣 略 是 优先 解决 紧急 的 问题 ， 并 通过 高 
质量 的 目 动 化 测试 、 合 理 的 工作 流程 等 ， 降 低 此 类 问题 发 生 的 可 能 
和 修复 代价 。 即 通过 一 套 解 决 方案 稳定 开 友 流程 、 降 低产 品 风险 ， 
以 便 测试 小 组 有 资源 做 更 长 远 的 工作 。 


持续 评估 。 随 看 项 目 进展 ， 产 品 具备 更 丰富 的 能 力 ， 也 面临 不 同 
的 风险 。 所 以 ， 测 试 人 员 震 要 在 达 代 间 际 持续 评估 项 目 情况 ， 以 便 
让 新 的 自动 化 测试 能 够 应 对 以 往 没有 考虑 到 的 问题 ， 将 精力 投放 在 
对 产品 开发 最 有 价值 的 领域 。 


动态 计划 。 友 代 开 发 的 本 质 是 根据 变化 的 情况 实施 动态 计划 ， 并 
根据 计划 执行 结果 做 出 必要 的 调整 。 这 对 于 测试 开发 尤其 重要 ， 因 
为 测试 代码 强烈 依赖 于 产品 代码 ， 测 试 计划 需要 符合 产品 开发 的 实 
际 进度 。 此 外 ， 测 试 人 员 通 向 会 同时 执行 多 项 测试 任务 ， 无 法 专注 
于 测试 开 及 ， 其 工作 计划 也 时 第 被 突 发 性 事件 打 断 。 友 代 开 发 帮助 
测试 人 员 处 理 变 化 的 情况 ， 使 得 投入 的 资源 可 以 获得 相应 的 回报 。 


第 三 ， 目 动 化 测试 应 该 在 资源 允许 的 范围 内 尽力 拓展 测试 领域 ， 以 提 
供给 多 样 化 的 测试 。 功 能 测试 是 常见 的 自动 化 测试 领域 ， 测 试 小 组 会 
构建 自动 执行 的 功能 测试 用 例 集 ， 以 及 现代 码 变动 产生 的 缺陷 。 除 此 之 
外 ， 自 动 化 测试 还 可 以 在 许多 方面 大 显 喘 手 ， 获 得 手工 测试 难以 实现 的 
效果 。 以 下 是 几 个 例子 。 


o 性 能 测试 。 随 着 项 目 进 展 ， 测 试 人 员 需 要 评估 产品 的 性 能 是 在 稳 









































步 提 高 ， 还 十 在 逐渐 下 降 。 对 于 网 络 应 用 ， 随 着 用 户 数 和 业务 量 的 
提高 ， 训 试 人 员 需 要 检查 即将 发 布 的 版 本 能 个 处 理 正 党 流量 和 峰值 
流量 。 为 此 ， 测 试 人 员 会 编写 代码 ， 模 拟 出 各 种 工作 负载 ， 从 而 在 
项 目 过 程 中 持续 检查 软件 的 性 能 。 有 些 测试 小 组 将 多 次 测试 获得 的 
性 能 数据 绘制 成 趋势 图 ， 可 以 轻易 地 看 出 产品 的 性 能 变化 。 


压力 测试 。 测 试 程序 驱使 产品 长 时 间 地 处 理 大 批 数据 ， 让 它 超 负 
谷 运转 ， 并 监控 它 所 暴露 出 的 问题 。 这 样 的 测试 有 时 会 持续 几 天 ， 
记录 大 量 的 产品 日 志和 性 能 数据 。 测 试 工具 会 分 析 这 些 日 志和 数 
据 ， 以 报告 其 中 值得 注意 的 问题 。 


配置 测试 。 一 些 软件 需要 在 多 个 平台 上 运行 ， 例 如 一 区 流行 的 智 

能 手机 应 用 往往 需要 支持 十 多 球 手 机 。 手 工 在 各 个 平台 上 执行 测试 
费时 费力 ， 且 容易 因为 测试 疲劳 造成 缺陷 遗漏 。 测 试 小 组 开 友 出 跨 
平台 的 测试 框 染 ， 让 同一 个 测试 用 例 集 可 以 运行 在 多 个 目标 平台 

上 。 这 不 但 节省 了 了 人力 ， 还 加 速 了 测试 过 程 ， 有 助 于 快速 发 现在 特 
定 平台 上 才 存 在 的 缺陷 。 


安全 性 测试 。 随 着 软件 技术 的 发 展 ， 寻 找 《〈 并 利用 ) 安全 性 缺陷 
的 技术 挑战 快速 提高 。 一 些 安全 性 问题 的 技术 难度 已 经 超过 普通 测 
试 人 员 的 能 力 范 围 。 为 了 应 对 日 趋 杯 手 的 安全 性 问题 ， 测 试 小 组 会 
利用 已 有 的 测试 工具 ， 或 让 安全 性 专家 主持 研发 测试 工具 ， 通 过 源 
人 
性 缺陷 。 


第 四 ， 目 动 化 测试 应 该 讲求 实用 ， 测 试 人 员 需 要 根据 项 目 语 境 选 择 合 
适 的 开发 朱 略 。 软 件 产品 的 差异 性 很 大 ， 不 存在 普 过 适用 的 测试 开发 
泉 略 。 在 规划 和 实现 自动 化 测试 时 ， 测 试 小 组 要 思考 各 种 项 目 因 系 来 做 
出 合理 的 设计 。 管 见 的 考虑 因素 如 下 。 


。 测试 使 命 。 测 试 小 组 通常 对 测试 资源 (时 间 、 机 费 、 工 具 和 等) 和 
测试 人 手 ， 有 一 定 发 言 权 ， 但 不 能 作出 最 终 决策 〈 这 是 项 目 管理 者 
的 职权 范围 ) 。 在 资源 相对 固定 的 情况 下 ， 将 多 少 资 源 和 人 手 投入 
目 动 化 测试 ， 需 要 测试 领导 与 项 目 天 系 人 共同 决定 测试 小 组 承担 的 
测试 使 命 。 如 果 测 试 小 组 需要 承担 大 量 的 手工 测试 任务 ， 那 么 他 们 
ee 
试 领域 。 






































。 测试 人 员 。 有 些 自 动 化 测试 技术 适用 于 编程 经 验 不 多 的 测试 人 
员 ， 有 些 则 要 求 测试 人 员 精 通 东 类 开发 技术 。 为 初级 测试 人 员 选 择 
高 难度 的 方法 ， 会 让 他 们 难以 上 手 ， 影 响 项 目 进 度 ;， 为 高 级 测试 人 
员 安 排 过 于 简单 的 工具 ， 会 限制 他 们 的 能 力 ， 挫 伤 其 积极 性 。 通 
利 ， 测 斌 领导 应 该 与 资深 测试 人 员 协 商 ， 共 同 决 定 测 试 小 组 的 测试 
开发 策略 ， 并 对 测试 人 员 的 技能 发 展 做 出 安排 。 


TRA KER 。 许 多 项 目的 开发 具有 明显 的 节 舌 。 在 项 目 初 期 ， 产 品 
代码 尚未 完全 束 位 ， 测 试 人 员 有 时 间 开 发 一 些 基 础 性 的 测试 框 染 ; 
在 项 目 中 期 ， 产 品 代 码 逐 步 交 付 测 试 ， 测 试 人 员 需 要 编写 组 件 级 别 
和 系统 级 别 的 目 动 化 测试 ， 在 项 目 后 期 ， 产 品 临 近 交 付 ， 测 试 人 员 
专注 于 运行 测试 、 报 告 缺 陷 、 验 证 修复 ， 只 能 将 少量 时 间 用 于 开发 
ee Ne 0 a 
开发 的 重点 。 


产品 特征 。 产 品 的 开发 技术 和 业务 领域 会 影响 测试 技术 的 选择 。 
如 果 产 品 代 码 用 Java 编 号， 那么 测试 代码 就 倾 癌 于 能 够 运行 在 Java 
虚拟 机 上 的 语言 。 这 简化 了 测试 代码 和 产品 代码 的 相互 调用 ， 并 方 
便 测 试 人 员 了 解 被 测 产品 的 平台 特征 和 技术 特点 。 如 果 产 品 需 要 处 
理 大 量 的 业务 数据 ， 那 么 测试 设计 就 倾 回 于 用 数据 库 保存 产品 的 输 
入 和 输出 数据 ， 因 为 数据 库 提供 了 便利 的 方法 来 存储 、 查 询 、 分 析 
和 计算 大 规模 数据 ， 令 测试 实现 简洁 高 效 。 


总 而 言 之 ， 目 动 化 测试 是 实现 测试 策略 的 工具 ， 测 试 开发 需要 服务 于 整 
体 测试 计划 。 测 试 小 组 应 该 注重 实效 ， 达 代 地 开发 有 效 降低 项 目 风 险 的 
目 动 化 测试 。 


6.2.2 将 测试 开 友 视 作 软件 开 友 


目 动 化 测试 是 基于 产品 代码 的 软件 应 用 ， 测 试 开发 也 是 一 种 软件 开发 ， 
需要 遵循 恰当 的 软件 开发 过 程 。 测 试 小 组 需要 分 析 软 件 开发 的 基本 元 
素 ， 以 选择 合适 的 测试 开发 过 程 。 图 6-1 展 示 了 一 种 可 行 的 测试 开发 集 
略 ， 它 包含 设 定 目 标 和 测试 开发 迭代 两 个 阶段 。 


首先 ， 软 件 项 目 要 持续 地 交付 价值 才能 长 远 地 发 展 ， 测 试 开 发 项 目 也 是 
如 此 。 测 试 小 组 需要 分 析 项 目测 试 面临 的 挑战 ， 设 定 测 试 目 动 化 的 使 命 
和 目标 ， 并 提出 候选 的 实现 策略 。 以 下 是 一 些 需 要 思考 的 问题 。 


































+ 明确 使 全 
+ 拟订 计划 
+ 达成 共识 


设 定 目标 


* 评估 当前 情况 
“拟订 迭代 计划 
* 精 选 开发 实践 
e 建立 流程 和 责任 


测试 开发 迭代 


图 6-1 迭代 地 展开 测试 开发 


项 目 和 产品 面临 什么 风险 ? 有 了 哪些 重要 的 缺陷 要 去 发 现 ? 
当前 的 测试 面临 哪些 挑战 ? 有 哪些 重要 的 测试 任务 ? 


测试 小 组 用 什么 测试 策略 去 缓解 风险 ? 如 何 用 受 限 的 资源 去 发 现 尽 
可 能 多 的 重要 缺陷 ? 


测试 目 动 化 在 获 体 测试 东 略 中 起 什么 作用 ? 它 如 何 写 其 他 测试 活动 
配合 ? 





利用 测试 目 动 化 能 人 否 发 展 出 更 强大 、 更 高 效 的 训 试 策略 ? 
测试 目 动 化 的 短期 目标 是 什么 ? 长 期 目标 是 什么 ? 

选择 哪些 自动 化 技术 来 实现 目标 ? 如 何 评估 候选 技术 ? 
执行 哪些 任务 来 达成 目标 ? 如 何 安排 任务 的 优先 级 ? 

如 何 评估 自动 化 测试 达成 了 预定 目标 ? 


© 引入 《新 的 ) 目 动 化 测试 有 哪些 风险 ? 如 何 缓解 这 些 风 险 ? 


ogee eet a ieee ve eg ee 
? 


。 测试 人 员 需 要 做 何 种 思想 和 技术 准备 ? 


获得 这 些 问题 的 答案 需要 统筹 考虑 项 目 全 局 ， 也 需要 深入 研究 具体 问 
题 。 为 了 获得 更 全 面 的 理解 ， 测 试 领导 可 以 和 几 个 资深 测试 人 员 一 起 讨 
论 ， 共 同 拟定 测试 开 肥 的 计划 文档 ， 以 说 明 上 自动 化 测试 的 目标 、 任 务 、 
打上 略 和 资源 。 然 后 ， 测 试 领导 邀请 测试 小 组 成 员 审 阅 计 划 ， 退 过 收集 更 
多 的 反馈 来 改进 计划 ， 并 使 之 成 为 大 家 的 共识 。 经 过 集体 讨论 ， 测 试 小 
组 获得 了 测试 开发 计划 的 初 稳 ， 用 它 来 作为 自动 化 测试 的 行动 指南 。 


随 着 项 目 发 展 ， 测 试 小 组 面临 的 挑战 也 在 不 停 地 变化 ， 原 先 的 测试 策略 
可 能 不 适应 新 的 项 目 情况 。 为 了 让 自动 化 测试 持续 提供 价值 ， 测 试 小 组 
再 要 积极 主动 地 调整 测试 开发 计划 。 一 个 可 行 的 方法 是 采用 运 代 开发 过 
程 ， 用 短 的 开发 周期 来 逐步 构建 目 动 化 测试 ， 并 动态 调整 方向 。 通 币 ， 
测试 开发 周期 为 2~4 周 ， 在 此 期 间 测 试 小 组 执行 如 下 任务 。 


1. 测 试 小 组 评估 上 一 个 周期 的 测试 开发 ， 列 出 没有 完成 的 目标 和 需要 解 
决 的 问题 。 


2. 测试 小 组 分 析 当 前 的 项 目 情况 ， 列 出 需要 实现 的 上 自动 化 测试 和 值得 研 
客 的 开发 技术 。 


3. 测试 小 组 根据 可 以 用 的 资源 ， 拟 定 本 次 迭代 的 开发 目标 ， 并 安排 实现 
目标 的 一 组 任务 。 每 一 个 任务 都 有 明确 的 负责 人 、 完 成 时 间 和 交付 结 
A 


4. 测试 小 组 的 成 员 进 行 测试 编码 ， 并 利用 沙 箱 测试 、 同 行 评审 、 持 续集 
成 、 技 术 原 型 等 开发 实践 来 保证 测试 代码 的 质量 。 


。 沙 箱 测试 : 测试 人 员 在 一 个 独立 的 环境 中 部 署 产品 、 开 发 并 运行 
目 动 化 测试 。 独 立 的 环境 使 测试 人 员 之 间 的 开发 与 测试 不 会 相互 二 
扰 。 当 测试 人 员 完 全 控制 产品 、 自 动 化 测试 和 测试 环境 时 ， 他 可 以 
方便 地 控制 测试 运行 ， 以 快速 地 获得 测试 结果 。 这 有 助 于 迅速 及 现 
产品 缺陷 和 编写 测试 代码 。 














同行 评审 : 测试 小 组 需要 建立 测试 代码 的 评审 过 程 ， 让 一 组 相对 
资深 的 员工 评审 所 有 的 测试 代码 。 通 过 评审 ， 资 深 员 工 可 以 将 一 些 
代码 知识 、 实 现 方 法 和 设计 模式 传授 给 其 他 测试 人 员 ， 并 保证 新 编 
写 的 代码 符合 团队 制定 的 编码 标准 。 代 码 评审 是 一 个 传播 知识 、 建 
ee 
编程 拉 能 。 


持续 集成 ， 项 目 团队 建立 持续 集成 流程 ， 频 繁 地 编译 产品 和 测试 
代码 ， 并 运行 上 自动 化 测试 集 ， 以 连续 地 提供 产品 代码 的 质量 信息 。 
测试 小 组 应 该 建 并 流程 ， 让 新 编写 的 目 动 化 测试 可 以 加 入 持续 集成 
所 运行 的 上 自动 化 测试 集 。 通 过 高 频率 地 运行 测试 ， 训 试 小 组 不 但 可 
以 及 时 发 现 产 品 的 问题 ， 还 可 以 发 现 测试 代 码 的 不 足 ， 从 而 快速 地 
修复 问题 ， 使 项 目 过 程 更 加 平稳 。 


技术 原型 : 在 大 规模 采纳 茶 种 新 技术 、 新 框架 或 新 工具 前 ， 测 试 
小 组 用 技术 原型 来 评估 其 可 行 性 。 测 试 人 员 可 以 用 一 个 迭代 周期 来 
构建 技术 原型 ， 用 它 完 成 真实 的 测试 任务 ， 以 便 在 项 目 语 境 中 分 析 
新 方法 的 长 处 与 不 足 ， 从 而 确定 它 能 人 否 带 来 预期 的 回报 。 如 果 有 多 
个 相互 苋 争 的 技术 ， 测 试 人 员 可 以 用 它们 构建 儿 个 技术 原型 ， 来 完 
成 同一 个 任务 。 通 过 比较 技术 原型 的 表现 ， 测 试 人 员 能 够 作出 合理 
的 技术 选择 。 


5. 测 试 开 发 的 特殊 性 在 于 测试 小 组 不 但 要 开发 代码 ， 还 要 运行 代码 ， 提 
交 人 缺陷 报告 ， 并 修复 测试 代码 的 缺陷 。 即 上 自动 化 测试 项 目 包含 持续 的 编 
码 、 运 行 、 分 析 、 调 试 和 维护 。 为 此 ， 测 试 小 组 应 该 建立 明确 的 流程 和 
责任 ， 让 目 动 化 测试 可 以 持续 地 运行 ， 让 测试 结果 得 到 及 时 地 调查 ， 让 
测试 缺陷 得 到 快速 地 修复 ， 让 过 时 的 测试 被 删除 或 改写 。 好 的 流程 让 新 
人 
质量 。 

总 之 ， 目 动 化 测试 是 一 种 重要 的 投资 ， 训 试 人 员 会 投入 可 观 的 时 间 和 精 
力 。 为 了 获得 展 好 的 回报 ， 测 试 小 组 需要 选用 恰当 的 测试 设计 、 开 发 技 
术 和 管理 方法 ， 让 它们 相互 支持 、 彼 此 配合 。 

6.2.3 ”利用 目 动 化 测试 金字 塔 来 指导 测试 开 友 


为 了 优化 测试 资源 分 配 ， 软 件 专 家 Mike Cohn 提 出 了 测试 自动 化 金字 塔 
[Cohn09]， 测 试 专家 Lisa Crispin 将 其 细 化 为 图 6-2 的 形式 [Crispin09]. 4 























字 塔 包含 3 个 自动 化 测试 层次 ， 在 金字 塔 之 上 是 手工 测试 。 项 目 团队 应 
该 将 更 多 的 精力 放 在 金字 塔 的 的 层 ， 编 写 数量 硕大 的 单元 测试 和 组 件 测 
试 ， 为 高 层 的 自动 化 测试 左 定 坚实 的 基础 。 








手工 测试 


GUI 测 试 


验收 测试 (APIS) 
单元 测试 和 组 件 济 试 


图 6-2 测试 自动 化 金字 塔 


。 人 金字 塔 底层 是 自动 化 测试 的 基础 ， 主 要 包含 单元 测试 和 组 件 测试 
， 该 层次 拥有 的 测试 代码 最 多 ， 是 自动 化 测试 投资 回报 率 最 高 的 部 
分 。 一 般 情 况 下 ， 这 部 分 测试 代码 由 编程 小 组 编写 和 维护 。 


金字 塔 中 层 是 面向 业务 的 自动 化 测试 。 它 们 调用 产品 提供 的 编程 
接口 ， 不 依赖 于 图 形 界面 ， 所 以 比较 容易 开发 和 维护 ， 拥 有 较 高 的 
投资 回报 率 。 通 第 ， 测 试 小 组 会 编写 该 屋 的 测试 代码 ， 开 友 小 组 会 
提供 必要 的 撤 术 文 持 ， 例 如 提供 面 癌 业务 领域 的 API。 


金字 塔 顶层 是 少量 的 基于 图 形 界面 的 自动 化 测试 。 由 于 图 形 界面 

改动 频繁 ， 所 以 测试 代码 需要 经 种 修改 。 尺 外 ， 基 于 图 形 界面 的 训 

试 代码 难以 编写 、 调 试 和 修正 ， 操 作 系 统 的 偶然 事件 、 用 户 界 面 的 

轻微 延迟、 测试 代码 的 考虑 不 周 都 会 叶 臻 测试 失败 ， 所 以 拥有 口 郧 

的 测试 维护 代价 。 因 此 ， 该 层次 的 自动 化 投资 回报 京 最 低 ， 应 该 只 

ee a eae 
> 和 维护 


。 金字 塔 上 方 是 手工 测试 。 测 试 人 员 在 自动 化 测试 的 坚实 基础 上 ， 





























对 尚未 覆盖 的 领域 实施 手工 测试 。 手 工 测 试 并 非 不 使 用 任何 软件 工 
和 
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Ake SIR PRA, FIR EY A eg, AE 
是 许多 项 目的 实际 情况 与 之 不 同 。 在 一 些 项 目 中 ， 人 金字 塔 处 于 倒置 的 状 
AS: 程序 员 只 编写 很 少 的 单元 测试 和 组 件 测试 ， 测 试 人 员 基 于 编程 接口 
和 图 形 界面 编写 测试 代码 ， 而 且 许 多 代码 强烈 依赖 于 图 形 界 面 。 这 导致 
了 高 昂 的 测试 代码 开发 和 维护 代价 。 在 另 一 些 项 目 中 ， 程 序 员 不 编写 单 
元 测试 ， 测 试 小 组 开发 的 自动 化 测试 也 很 少 ， 大 多 数 测试 需要 手工 完 

成 。 这 导致 测试 小 组 在 每 个 项 目 周 期 都 花费 大 量 的 时 间 去 手工 运行 回归 
E E E E ota 
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面 对 以 上 和 情况， 测试 小 组 需要 通过 持续 努力 来 逐步 扭转 不 利 的 情况 。 以 
下 是 一 些 常见 的 方法 。 


。 测试 小 组 需要 与 编程 小 组 商谈 ， 共 同 制定 自动 化 训 试 的 策略 。 最 
理想 的 情况 是 编程 小 组 承诺 为 新 代码 编写 单元 测试 ， 并 为 测试 小 组 
提供 足够 的 编程 接口 ， 以 简化 中 层 测试 用 例 的 开发 。 其 中 ， 单 元 测 
试 需要 达到 的 质量 标准 和 编程 接口 的 具体 内 容 由 编程 小 组 和 测试 小 
组 协商 决定 。 无 论 如 何 ， 项 目 团队 应 该 束 目 动 化 测试 的 覆盖 范围 、 
不 同类 型 的 自动 化 测试 由 谁 编写 和 维护 、 编 程 小 组 如 何 支 持 测 试 小 
组 等 基本 问题 达成 一 致意 见 。 


测试 目 动 化 要 立即 见效 [Kaner01] 。 测 试 小 组 选择 投资 回报 率 高 的 
区 域 实施 自动 化 测试 。 这 通常 是 产品 的 不 稳定 区 域 ， 拥 有 频繁 的 代 
人 码 变 更 或 大 量 的 软件 缺陷 。 快 速 的 代码 变更 暗示 这 部 分 代码 的 业务 
需求 比较 活跃 ， 是 产品 的 重要 价值 所 在 ; 活跃 的 缺陷 说 明 这 部 分 代 
码 比 较 复 杂 ， 可 能 存在 业务 或 技术 上 的 难题 。 对 这 些 区 域 建立 自动 
化 测试 ， 能 够 快速 地 发 现 新 引入 的 缺陷 ， 让 整个 项 目 团队 看 到 自动 
化 测试 的 价值 。 


测试 小 组 与 项 目 关 系 人 讨论 ， 了 解 他 们 最 担心 的 风险 和 最 想 知道 
的 信息 ， 然 后 思考 目 动 化 测试 能 否 缓解 这 些 风险 或 提供 相关 信息 
。 与 上 一 点 相似 ， 测 试 小 组 不 是 立即 实施 全 面 的 自动 化 测试 ， 而 是 
针对 局 优先 级 的 目标 实现 自动 化 测试 。 通 过 自动 化 测试 更 好 地 为 项 
目 关 系 人 服务 ， 不 但 完成 了 测试 使 命 ， 还 让 关系 人 理解 并 赞 昔 测试 









































小 组 在 自动 化 测试 上 的 投入 ， 从 而 为 更 广泛 的 自动 化 争取 更 多 的 资 
源 。 


自 合 适 的 层次 和 粒度 实施 自动 化 测试 。 通 第 ， 测 试 小 组 需要 检查 
软件 对 最 终 用 户 的 价值 ， 其 拥有 的 测试 资源 不 允许 他 们 开发 所 有 层 
次 的 测试 。 所 以 ， 第 见 的 测试 策略 是 开发 面 癌 业务 的 自动 化 测试 

金字塔 的 中 层 ) ， 并 辅 以 必要 的 基于 用 户 界 面 的 测试 (金字塔 的 
THE) 。 这 些 目 动 化 测试 能 够 禾 凋 基本 用 户 情景 ， 为 更 细致 的 手工 
测试 提供 质量 基础 。 测 试 人 员 不 必 强 求 所 有 测试 用 例 都 100% 目 动 

化 [Kaner01]， 这 不 但 会 带 来 高 昂 的 测试 维护 代价 ， 还 会 压缩 实际 的 
测试 时 间 。 合 理 的 集 略 是 针对 不 同 的 测试 任务 采取 合适 的 测试 方 

法 。 在 大 多 数 情况 下 ， 纤 合 运用 手工 测试 、 代 码 审查 、 开 及 者 测 

试 、 目 动 化 测试 等 方法 会 获得 更 好 的 测试 效果 。 


学 习 并 实践 已 有 的 测试 开发 方法 和 模式 ， 以 快速 构建 稳定 的 自动 
化 测试 XUnit Test Patterns: Refactoring Test Code + 和 Working 
Effectively with Legacy Code “是 该 领域 的 经 典 著 作 ， 值 得 测试 人 员 
参考 和 借鉴 。 

















1 http://xunitpatterns.com/ 。 


2 中 译本 为 《修改 代码 的 艺术 》 (http://book.douban.com/subject/2248759/ ) 。 





金字 塔 不 是 一 天 建成 的 。 测 试 小 组 可 以 从 影响 大 、 成 本 小 的 目 动 化 测试 
开始 ， 逐 步 构建 相对 全 面 的 目 动 化 测试 用 例 集合 。 积 小 胜 为 大 胜 ， 以 稳 
健 的 策略 去 推动 测试 开发 ， 能 够 获得 短期 的 成 果 和 长 远 的 发 展 。 


6.2.4 面向 调试 的 测试 代码 


目 动 化 测试 可 以 视 为 基于 产品 代码 的 二 次 开发 。 一 般 情 况 下 ， 开 发 人 员 
会 假设 所 调用 的 基础 性 代码 是 经 过 充分 汕 试 、 比 较 稳 定 、 比 较 可 靠 的 ， 
但 是 训 试 开发 却 面 临 截然 相反 的 情况 ， 其 调用 的 产品 代码 未 经 充分 测 
试 ， 变 更 频繁 ， 很 可 能 包含 缺陷 。 因 此 ， 自 动 化 测试 遭遇 失败 是 “ 常 
态 ”， 调 得 失败 原因 是 测试 人 员 的 基本 工作 。 当 自动 化 测试 包含 大 量 的 
测试 用 例 ， 高 效 的 失败 调查 能 够 及 时 发 现 产品 缺陷 ， 反 之 低 效 的 失败 调 
碍 会 延迟 缺陷 发 现时 间 ， 并 占用 许多 测试 时 间 。 














有 经 验 的 程序 员 知 道 故 障 调查 是 一 件 困难 的 任务 ， 可 能 会 消耗 大 量 的 开 
发 时 间 ， 所 以 他 们 的 设计 会 考虑 软件 的 可 调试 性 ， 通 过 一 些 特定 的 功能 
来 降低 调试 的 难度 和 开销 。 因 为 自动 化 测试 的 根本 任务 就 是 发 现 并 定位 
产品 错误 ， 所 以 测试 人 员 更 要 将 可 调试 性 作为 测试 开发 的 基本 因素 ， 时 
刻 加 以 关注 。 以 下 是 一 些 有 助 于 提高 可 调试 性 的 开发 方法 。 





测试 代码 应 该 尽 可 能 地 简单 。 程 序 员 有 时 为 了 提高 产品 的 性 能 ， 
会 使 用 一 些 复 林 的 算法 和 蜗 级 的 程序 库 。 不 过 ， 大 多 数 测试 代码 并 
不 需要 极致 的 性 能 ， 测 试 人 员 应 该 用 平实 的 算法 和 基础 的 程序 库 来 
构建 测试 程序 。 这 有 助 于 构建 正确 的 代码 ， 避 免 复杂 逻辑 带 来 的 隐 
藏 缺陷 。 通 第 ， 一 个 测试 函数 只 测试 一 个 具体 的 功能 ， 一 个 复杂 的 
测试 用 例 由 多 个 简单 的 测试 函数 组 成 。 


测试 代码 应 该 容易 阅读 。 测 试 代码 是 “可 执行 的 规格 说 明 ”?， 定 义 
了 特定 操作 下 被 测 软 件 的 行为 [Features07]。 该 规格 说 明 应 该 清晰 易 
懂 ， 让 读者 很 容易 理解 测试 代码 做 了 哪些 测试 准备 、 进 行 了 什么 操 
作 、 检 查 了 什么 内 容 、 预 期 获得 怎样 的 结果 等 。 在 理想 情况 下 ， 读 
者 只 需要 阅读 测试 函数 就 可 以 理解 测试 步骤 和 检查 逻辑 。 这 要 求 测 
试 代 码 拥有 一 致 的 命名 、 清 晰 的 结构 和 必要 的 注释 。 这 些 恨 好 的 编 
程 实践 不 但 有 助 于 构建 清晰 的 程序 ， 还 会 节省 大 量 的 调试 时 间 ， 
为 理解 测试 逻辑 是 发 掘 失败 原因 的 基本 前 提 。 


测试 代码 需要 合理 的 抽象 和 封装 。 许 多 测试 用 例会 共享 一 组 功 
能 ， 如 启动 软件 、 登 录 测试 用 户 、 检 查 业 务 对 象 属性 、 关 闭 软件 
等 。 测 试 人 员 可 以 将 这 批 反 复 使 用 的 代码 抽取 出 来 ， 封 装 在 命名 良 
好 的 函数 和 类 中 。 这 有 助 于 测试 函数 的 代码 聚焦 于 当前 的 测试 逻 
辑 ， 而 不 是 纠缠 于 一 些 大 多 数 测试 都 会 涉及 的 操作 ， 从 而 提高 了 测 
试 代码 的 可 读 性 。 但 是 要 避免 过 犹 不 及 ， 过 度 的 抽象 会 降低 “规格 
说 明 ” 的 清晰 性 ， 隐 项 重要 的 操作 会 让 读者 错过 理解 测试 逻辑 的 关 
测试 人 员 需 要 在 实践 中 推 项 代码 的 结构 ， 以 获得 恰到好处 
设计。 


测试 代码 应 该 检查 每 一 步 操作 的 结果 ， 发 现 问题 立即 报告 。 测 试 
代码 应 该 假定 对 软件 的 任何 操作 都 可 能 失败 ， 所 以 它 会 检查 所 有 操 
作 的 结果 ， 并 通过 断言 、 寞 常 、 日 志 等 方式 将 错误 报告 出 来 。 第 一 
Ee tear 降低 了 妃 踊 错误 源 




















。 测试 代码 应 该 拥抱 日 志 。 测 试 人 员 需 要 用 日 志 记 录 产 品 的 输入 数 
据 、 训 试 的 执行 步骤 、 产 品 的 输出 结果 等 信息 ， 以 全 面 描绘 测试 执 
行 的 情况 。 在 理想 情况 下 ， 测 试 人 员 只 要 对 照 阅读 测试 日 志和 测试 
代码 就 可 以 理解 失败 原因 ， 而 不 需要 局 动 调试 器 。 御 见 的 测试 框架 
都 提供 了 功能 丰富 的 日 志 程序 库 ， 并 提供 了 扩展 接口 来 帮助 测试 人 
员 定 制 出 满足 特定 需求 的 测试 日 志 。 


除了 文本 日 志 ， 测 试 代码 还 可 以 记录 其 他 形式 的 日 志 。 例 如 ， 有 
些 针 对 数据 库 的 测试 会 产生 大 量 的 输出 结果 ， 将 这 些 结果 都 写 入 文 
本 日 志 并 不 利于 阅读 和 分 析 。 一 个 可 行 的 测试 集 略 是 将 产品 输出 写 
入 一 个 独立 的 测 斌 数据库， 以便 进一步 检查 。 叉 例如 ， 在 测试 执行 
失败 时 ， 测 试 程序 可 以 屏幕 截图 ， 让 测试 人 员 了 解 失 败 时 软件 的 外 
观 。 对 于 软件 册 演 的 情况 ， 测 试 程序 可 以 生成 被 测 进程 在 崩 演 时 的 
内 存 转 储 文件 ， 以 便 测 试 人 员 用 调试 器 调查 朋 深 原因 。 


代码 清单 6-1 是 一 个 测试 Word 读 取 和 另存 文件 的 函数 。 虽 然 真实 的 测试 
代码 会 更 加 复 洒 ， 但 是 这 个 简化 的 例子 很 好 地 说 明了 如 何在 测试 开发 中 
应 用 以 上 实践 方法 。 


。 测试 函数 TestopenSave 用 C# 编 写 ， 通 过 调用 Word 的 COM 互 操作 
API (Word.Application) 来 打开 指定 的 文档 ， 然 后 另存 为 新 的 文 
档 ， 以 测试 文档 读 写 功能 。 代 码 清晰 直观 ， 容 易 理解 。 


e TestOpenSave 提供 了 两 个 参数 ， 分 别 指 定 需要 读 取 的 文件 的 路 径 
(sourceFilePath ) 和 另存 时 使 用 的 文件 格式 〈saveFormat 
) ， 为 数据 驱动 的 测试 提供 了 支持 。 上 层 的 驱动 函数 可 以 从 外 部 数 
据 源 加 载 一 批文 件 路 径 和 文件 格式 ， 通 过 反复 调用 TestOpenSave 
ee 该 设计 用 相对 简单 的 代码 支持 了 多 样 化 的 
测试 。 


。 程序 库 TestLog 提供 了 日 志 功 能 ， 其 实现 请 参考 代码 清单 6- 
2. TestOpenSave 在 每 一 步 操作 之 前 都 通过 TestLog .Comment() 
来 明确 记录 测试 执行 到 哪里 。 一 旦 测试 失败 ， 测 试 人 员 通 过 阅读 测 
斌 日志， 就 可 以 知晓 哪些 步骤 已 经 通过 、 测 试 失败 具体 发 生 在 何 
处 。 


e TestOpenSave 还 用 TestLog.Comment 记录 了 所 有 的 输入 值 ( 涵 
数 参数 sourceFilePath 和 saveFormat 的 值 ) 。 在 数据 驱动 测试 























中 ， 大 量 的 文件 路 径 和 格式 被 传递 给 TestOpenSsave 。 记 录 所 有 的 
输入 值 简 化 了 调试 过 程 ， 测 试 人 员 只 要 阅读 测试 日 志 ， 就 可 以 了 解 
古 哪个 文件 和 格式 导致 测试 失败 。 


TestLog 还 提供 了 检查 功能 。TestLog.VerifyEqual 比较 实际 值 
是 否 等 于 预期 值 ， 如 果 不 相 等 ， 该 函数 会 记录 错误 消 

Wo TestLog.VerifyTrue 判断 输入 的 条 件 是 否 为 真 ， 如 有 果 为 假 ， 
该 函数 会 记录 错误 消息 。 在 每 一 步 操作 之 后 ，TestOpenSave 都 会 
调用 这 些 函 数 来 检查 操作 是 否 成 功 ， 以 第 一 时 间 记 录 问 题 。 这 两 个 
检验 函数 只 记录 错误 消息 ， 不 会 抛 出 异常 以 中 断 测 试 执 行 。 在 调用 
结束 之 后 ， 函 数 Test0penSave 总 能 继续 执行 。 


程序 库 TestLib 封装 了 一 批 辅助 函数 ， 提 供 了 可 以 让 多 个 测试 函数 
复 用 的 功能 ， 其 实现 请 参考 代码 清单 6-3。 该 程序 库 和 
TestOpenSave 拥有 一 致 的 编码 风格 ， 都 利用 简单 明了 的 指令 来 操 
作 被 测 对 象 ， 用 TestLog 来 记录 操作 步骤 和 检查 操作 结果 。 


TestLib 的 函数 EnsureFileExists 和 EnsureNoWordProcess 以 
Ensure 作为 函数 名 的 前 缀 ， 以 表明 它们 会 检查 特定 的 条 件 。 如 果 
条 件 不 为 真 ， 它 们 会 调用 TestLog.Fail 来 记录 错误 消息 并 抛 出 异 
和 。 测 试 代 码 用 这 些 函 数 来 检查 对 测试 执行 非常 重要 的 和 条件， 如果 
这 些 条 件 不 成 立 ， 测 试 执行 应 该 中 止 。 

















代码 清单 6-1 ”测试 Word 读 取 和 另存 文件 的 函数 


/// 
/// 
/// 
/// 
/// 
public void TestOpenSave(string sourceFilePath, Word.WdSaveFormat saveForma 


{ 





<summary> 

Test method that opens and saves a document 

</summary> 

<param name="sourceFilePath">source document to open</param> 
<param name="saveFormat">file format to save</param> 


TestLog.Comment("-- Start TestOpenSave"); 
TestLog.Comment("sourceFilePath={@}", sourceFilePath) ; 
TestLog.Comment ("saveFormat={@}", saveFormat) ; 


TestLog.Comment("-- Check test preconditions") ; 
TestLib. EnsureFileExists(sourceFilePath) ; 


TestLog.Comment("-- Boot Word"); 
Word.ApplicationClass word = TestLib.BootWord(); 


TestLog.Comment("-- Open document ({@})", sourceFilePath) ; 
Word.Document document = word.Documents.Open(sourceFilePath) ; 
TestLog.VerifyEqual(word.Documents.Count, 1, 

"One document should be opened"); 


TestLog.Comment("-- Compute unique target file path"); 
string targetFolder = System.10.Path.GetTempPath() ; 
TestLog.Comment("targetFolder={0}", targetFolder) ; 
string targetFile = string.Format("{0}{1}_{2}.{3}", 
targetFolder, System.Guid.NewGuid(), 
saveFormat, this.GetExtension(saveFormat) ); 
TestLog.Comment ("targetFile={0}", targetFile) ; 


TestLog.Comment("-- Save document") ; 
object oTargetFile = targetFile; 
object oSaveFormat = saveFormat; 
document.SaveAs2(ref oTargetFile, ref oSaveFormat, 
ref missing, ref missing, ref missing, 
ref missing, ref missing, ref missing, 
ref missing, ref missing, ref missing, 
ref missing, ref missing, ref missing, 
ref missing, ref missing, ref missing); 


TestLog.Comment("-- Check saved document") ; 

TestLog.VerifyTrue(document.Saved, "Document should be saved"); 

TestLog.VerifyEqual(document.FullName.ToLower(), targetFile.ToLower(), 
"File paths should be same"); 

TestLib.EnsureFileExists(targetFile) ; 

TestLog.Comment("-- Close Word"); 

TestLib.CloseAl1DocumentAndQuit (word) ; 





代码 清单 6-2 ”日 志 程序 库 TestLog 的 实现 





static class TestLog 


{ 
enum LogLevel 
{ 
Comment, 
Warning, 


Error 


} 


public static void Comment(string format, params object[] parameters) 


{ 
} 


Log(LogLevel.Comment, format, parameters); 


public static void VerifyTrue(bool condition, string message) 


{ 
if (!condition) 


{ 
} 


Log(LogLevel.Error, message); 


} 


public static void VerifyEqual(object actual, object expected, string m 


{ 
if(!actual.Equals(expected) ) 


{ 
Log(LogLevel.Error, 
"The actual value ({@}) does not equal the expected value ( 
+ "message: {2}", 
actual, expected, message); 
} 


} 


public static void Fail(string format, params object[] parameters) 


{ 


Log(LogLevel.Error, format, parameters); 
throw new Exception(string.Format(format, parameters)); 


} 


private static void Log(LogLevel level, string format, params object[] 














// 将 错误 消息 广播 给 日 志 的 监听 者 


// ... 





代码 清单 6-3 ”程序 库 TestLib 提供 了 可 复 用 的 函数 





static class TestLib 


{ 


private static object missing = Type.Missing; 


public static Word.ApplicationClass BootWord() 


{ 
TestLog.Comment("-- Boot Word process and show its window"); 
var word = new Word.ApplicationClass(); 
TestLog.VerifyEqual(Process.GetProcessesByName("winword").Length, 1 
return word; 

} 


public static void CloseAllDocumentAndQuit(Word.ApplicationClass word) 


{ 
TestLog.Comment("-- Start CloseAllDocumentAndQuit"); 


object doNotSaveChanges = Word.WdSaveOptions.wdDoNotSaveChanges ; 
TestLog.Comment("-- Close all documents"); 
int beforeCloseCount = word.Documents.Count; 


TestLog.Comment("Before close, Word document count={0}", beforeClos 


while (word.Documents.Count > @) 


{ 
word.ActiveDocument.Close(ref doNotSaveChanges, ref missing, re 
int afterCloseCount = word.Documents.Count; 
TestLog.Comment ("After close, Word document count={@}", aftercl 
TestLog.VerifyTrue(beforeCloseCount - afterCloseCount == 1, "On 
beforeCloseCount = afterCloseCount; 

} 


TestLog.Comment("-- Quit Word process"); 
word.Quit(ref missing, ref missing, ref missing); 


System. Threading. Thread.Sleep(2 * 1000); // 等 2 秒 ， 以 待 Word 进 程 退 出 
EnsureNoWordProcess(); 


} 
public static void EnsureFileExists(string filePath) 
{ 
if (!System.IO.File.Exists(filePath)) 
TestLog.Fail("file ({0}) does not exist", filePath); 
} 


public static void EnsureNoWordProcess() 


int wordProcessCount = Process.GetProcessesByName("winword").Length 
if (wordProcessCount != @) 
TestLog.Fail("There should not be Word processes"); 
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长 久 的 收益 。 大 多 数目 动 化 测试 会 运行 多 次 ， 一 些 测试 用 例 甚至 会 运行 
多 年 。 展 好 的 可 调试 性 能 够 大 幅度 降低 失败 调查 的 开销 ， 帮 助 测试 人 员 
更 快 地 提交 缺陷 和 修复 测试 代码 的 错误 。 


6.2.5 ”系统 测试 的 测试 开发 

随 痢 测试 对 象 的 变化 ， 测 试 开 发 的 需求 和 方法 也 会 发 生 相 应 的 变化 。 例 
Emm 
它们 fhe 


表 6-1 对 比 单 元 级 别 和 系统 级 别 的 目 动 化 测试 


qoo | m o o 


A e 测试 系统 一 个 功能 


T e e 测试 儿 个 相互 协作 的 功能 。 对 于 大 型 系统 ， 一 
可 能 属于 不 同 的 类 ) 条 测试 用 例会 覆盖 在 干 子 系统 

















e 测试 运行 速度 快 ， 可 以 立即 je 测试 用 例 的 首要 任务 是 检查 产品 在 真实 环境 中 
= | 提供 对 代码 修改 的 检查 结果 。 | 的 表现 。 其 测试 运行 速度 通常 比 单 元 测试 慢 几 个 
> |o 测试 用 例 集 能 够 周密 地 禾 蓄 | 数量 级 。 

被 测 对 象 。 优 秀 的 测试 用 例 集 | @ 测试 用 例 履 盖 最 重要 的 业务 流程 。 受 到 技术 和 

能 提供 90% 以 上 的 语句 履 盖 率 | 资源 的 限制 ， 系 统 测试 的 语句 履 盖 率 较 低 



























































o 根据 代码 实现 设计 测试 用 e 测试 用 例 对 系统 进行 黑 盒 测试 。 有 效 的 测试 设 
例 ， 属于 白 盒 测试 范畴 。 计 需 要 了 解 产品 架构 、 组 件 功能 、 输 入 输出 格式 
e 为 了 提高 运行 速度 ， 好 的 单 | 等 技术 细节 ， 因 此 具有 灰 盒 测试 的 特点 。 























元 测试 不 访问 文件 、 网 络 、 数 |e 为 了 测试 产品 的 真实 表现 ， 系 统 汕 试 会 复 盖 文 
据 库 、 服 务 等 外 部 资源 。 件 、 网 络 、 数 据 库 、 服 务 等 外 部 资源 。 

o 通过 测试 柱 、 模 拟 对象 等 技 |e 系统 测试 通常 不 使 用 虚拟 对 象 等 测试 蔡 换 技 
术 来 葵 换 被 测 对 象 依赖 的 外 部 a ENEE 个 组 件 或 子 
e 测试 框架 程序 加 载 测试 用 例 |e 为 了 方便 测试 执行 和 监控 ， 测 试用 例 和 被 测 产 
和 被 测 对 象 ， 让 它们 位 于 同一 | 品 常常 运行 在 两 个 进程 中 。 

个 进程 空间 。 e 一 组 测试 用 例 常 第 共享 一 个 测试 对 象 ( 通 第 是 
e 每 一 个 测试 用 例会 创建 自己 | 被 测试 进程 》， 之 前 运行 的 测试 用 例 可 能 影响 到 
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的 测试 对 象 ， 因 此 测试 用 例 之 | 之 后 运行 的 测试 用 例 
间 相 互 独立 








一 般 说 来 ， 测 试 人 员工 作 在 组 件 和 和 系统 级 别 ， 其 测试 会 获 盖 产 品 的 多 
个 部 件 和 功能 ， 所 以 他 的 目 动 化 测试 也 侦 问 系统 层次 ， 会 覆盖 产品 的 多 
个 特性 。 为 了 更 好 地 开发 和 维护 目 动 化 的 系统 调试 ， 测 试 人 员 除 了 参考 
基本 的 测试 开发 方法 ， 还 要 根据 系统 测试 的 特点 ， 采 取 一 些 有 针对 性 的 
实践 。 对 此 ， 本 市 将 讨论 几 个 典型 的 系统 测试 的 开发 实践 。 


实践 1: 全 目 动 的 产品 安装 是 最 基本 的 可 测试 性 需求 


代码 清单 6-4 来 自 单元 测试 框架 NUnit 的 教程 [INUnitQuickStart12]。 测 试 
函数 TransferFunds 测试 负责 转账 功能 的 函 

数 Account .TransferFunds ， 它 获得 可 测试 对 象 的 方法 是 用 new 操 作 
符 生 成 转 出 账户 和 转 入 账户 。 这 是 典型 的 单元 测试 的 测试 准备 方法 : 测 
试用 例 和 被 测 对 象 运行 在 同一 个 进程 中 ， 由 测试 框架 加 载 被 测 对 象 所 在 
的 程序 集 ， 由 测试 用 例 安排 被 测试 对 象 的 生命 周期 。 整 个 过 程 不 需要 部 
署 完 整 的 产品 。 


代码 清单 6-4 ”单元 测试 样 例 

















[Test] 
public void TransferFunds() 


{ 


// setup 
Account source = new Account(); 
source.Deposit(200m); 


Account destination = new Account(); 
destination.Deposit(150m) ; 


// execute 
source. TransferFunds(destination, 100m); 


} 


// check 
Assert.AreEqual(25@m, destination.Balance) ; 
Assert.AreEqual(10@m, source.Balance); 





系统 测试 的 测试 对 象 是 完整 的 软件 系统 或 子 系统 ， 因 此 它 会 要 求 在 测试 
执行 之 前 软件 被 正确 地 安装 到 测试 环境 中 。 为 了 达成 蜗 效 的 上 自动 化 ， 整 





个 安装 过 程 需 要 是 全 目 动 且 可 预先 配置 的 。 


所 谓 “ 全 目 动 ?是 指 测试 人 员 只 要 执行 一 个 命令 ， 安 装 程 序 就 可 以 
将 产品 部 普 到 指定 的 训 试 环境 中 ， 即 “一 键 部 普 ” 。 测 试 人 员 需 要 
在 项 目 过 程 中 多 次 部 著 产 品 ， 如 果 安 装 过 程 要 求 复 杂 的 手工 操作 ， 
势必 会 占用 大 量 测试 时 间 ， 浪 费 测 试 人 员 的 精力 。 而 且 ， 枯 炬 的 手 
工 配 置 很 可 能 因为 臣 忽 而 引入 安装 错误 ， 而 包含 错误 配置 的 产品 会 
导致 系统 测试 失败 。 当 测试 人 员 寓 尽心 力 地 调查 测试 失败 ， 却 发 现 
这 是 安装 错误 引起 的 ， 会 备 感 挫折 。 


所 请“ 可 预 完 配置 ”是 指 测试 人 员 可 以 用 配置 文件 或 配置 脚本 指挥 
安装 程序 ， 让 安 效 后 的 产品 符合 预先 定义 的 配置 。 因 为 大 多 数 产 
品 的 安装 需要 用 户 提 供 一 些 参 数值 ， 可 预先 配置 实际 上 有 是 全 目 动 安 
装 的 前 提 条 件 。 对 于 分 布 式 系统 的 开发 和 测试 ， 这 尤其 重要 。 例 

如 ， 被 测 的 网 络 服务 需要 访问 数据 库 ， 因 此 测试 人 员 需 要 配置 它 的 
数据 库 连接 字符 串 ， 以 指向 恰当 的 测试 用 数据 库 。 可 预先 配置 的 安 
闭 让 测试 人 员 在 配置 文件 中 指定 数据 库 连 接 字 符 哩 ， 令 安装 后 的 系 
统 使 用 测试 人 员 指定 的 数据 库 。 


在 全 自动 和 可 预先 配置 的 基础 上 ， 项 目 团队 可 以 用 一 组 配置 文件 
在 所 有 环境 中 部 署 产 品 。 例 如 ， 配 置 文件 A 将 产品 部 团 到 测试 开发 
环境 ， 该 环境 通常 用 一 台 机 器 运行 多 个 服务 和 数据 库 ， 配 置 文件 B 
将 产品 部 车 到 功能 测试 环境 ， 该 环境 通常 包含 多 台 计 算 机 以 模拟 出 
产品 环境 的 特征 ;配置 文件 C 将 产品 部 闭 到 预 发 布 环境 ， 该 环境 与 
产品 环境 拥有 相同 的 拓扑 结构 和 相似 的 数据 ， 配 置 文件 DD 将 产品 音 
蜀 上 线 。 可 预先 配置 的 全 自动 安 准 简化 了 测试 环境 的 搭建 ， 提 高 整 
个 测试 开发 与 执行 的 效率 。 此 外 ， 用 相同 的 机 制 在 测试 环境 和 产品 



































环境 中 部 署 产品， 不 但 能 够 尽早 地 发 现 安装 程序 的 错误 ， 还 可 以 模 
拟 出 产品 升级 、 补 本 上线 等 情景 ， 对 于 提高 安装 程序 的 质量 很 有 必 
助 。 


在 大 多 数 团队 ， 安 装 程序 由 编程 小 组 负责 开发 和 维护 。 在 项 目 之 初 ， 测 
试 小 组 、 产 品 经 理 和 编程 小 组 需要 共同 协商 ， 让 安装 程序 可 以 文 持 全 目 
动 安装 。 最 佳 结 果 是 全 目 动 且 可 预先 配置 的 安装 成 为 第 一 等 级 的 功能 需 
求 ， 和 被 写 入 规格 说 明和 设计 文档 。 可 接受 的 结果 是 编程 小 组 同意 回 测 试 
小 组 提供 以 下 测试 支持 。 


。 安装 程序 可 以 部 获 完 整 的 系统 。 
。 因为 安装 失败 会 阻碍 后 续 测 试 ， 安 装 程 序 的 缺陷 会 获得 最 高 优先 
级 。 








。 当 一 项 功能 被 提交 给 测试 小 组 时 ， 该 功能 可 以 被 安装 程序 自动 部 
z. 
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产品 安装 是 一 项 容易 被 忽视 的 工作 项 。 当 产品 经 理 思考 产品 特性 、 程 序 
员 构 思 代 码 实现 时 ， 他 们 很 可 能 会 忘记 正确 的 安装 是 交付 任何 产品 价值 
的 前 提 。 作 为 最 早 使 用 产品 的 人 ， 测 试 人 员 应 该 明确 提出 全 上 自动 安装 是 
一 项 重要 的 可 测试 性 需求 ， 需 要 在 整个 项 目 周 期 获得 第 一 流 的 支持 。 


实践 2: 使 用 单独 的 进程 监控 测试 运行 


在 运行 代码 清单 6-4 所 示 的 单元 测试 时 ， 测 试 程序 Cnunit.exe) 加 载 测 试 
函数 (TransferFunds ) 和 被 测 类 (Account ) 的 程序 集 ， 在 同一 个 
进程 中 运行 测试 程序 和 被 测 代 码 。 与 单元 测试 不 同 ， 系 统 测试 通常 会 启 
动 多 个 进程 : 运行 测试 用 例 的 进程 和 被 测 产品 的 进程 。 例 如 ， 代 码 清 单 
6-1 所 示 的 系统 测试 运行 在 测试 框架 进程 中 ， 其 测试 对 象 Word 运 行 在 另 
一 个 进程 中 。 

在 多 进程 的 测试 中 ， 被 测 进程 可 能 发 生死 循环 、 死 锁 、 忙 等 外 部 资源 等 
情况 而 失去 啊 应 。 这 时 ， 等 待 被 测 进程 输出 的 测试 函数 也 会 陷入 “ 假 
死 ? 状 态 。 对 此 ， 测 试 程序 需要 有 办 法 终止 当前 测试 用 例 ， 记 录 错 误 并 














重启 被 测 进程 。 一 个 常见 的 做 法 是 测试 程序 局 动 一 个 线程 来 计时 ， 一 旦 
该 线程 友 现 测试 函数 的 执行 时 间 超 过 预定 值 ， 就 会 向 执行 测试 函数 的 线 
程 发 出 终止 消息 。 在 收 到 终止 消息 后 ， 测 试 执行 线程 会 退出 当前 测试 ， 
并 让 测试 清理 代码 重 置 测 试 环境 。 


对 于 复杂 产品 的 系统 测试 ， 一 个 独立 的 监控 进程 (甚至 一 组 监控 进程 ) 
可 能 是 更 健壮 的 测试 设计 。 当 测试 代码 进行 复杂 操作 时 ， 它 也 可 能 陷于 
死 循环 、 死 锁 等 错误 中 ， 使 得 整个 测试 进程 失去 啊 应 。 此 时 ， 运 行 在 测 
试 进程 内 部 的 计时 线程 和 测试 清理 代码 可 能 没有 机 会 运行 ， 使 得 整个 自 
动 化 流程 无 法 及 现 测试 已 经 停滞 并 进行 目 我 修复 。 对 于 这 种 情况 ， 测 试 
人 员 可 以 考虑 图 6-3 所 示 的 如 构 ， 用 一 个 监控 进程 去 监视 并 管理 测试 进 
程 和 产品 进程 。 它 一 旦 发 现 茶 个 进程 失去 啊 应 或 运行 超时 ， 就 记录 错误 
日 志 并 终止 该 进程 。 如 果 是 产品 进程 被 终止 ， 测 试 进程 会 发 现 产 品 进 程 
退出 ， 它 会 执行 测试 清理 代码 ， 并 局 动 下 一 条 测试 。 如 果 是 测试 进程 肥 
生 问 题 ， 监 控 进 程 通 第 会 终止 所 有 进程 ， 并 重 局 测试 进程 以 执行 下 一 条 
测试 。 通 党 ， 监 控 代 码 相 对 简单 ， 其 友 生 错误 的 概率 低 于 其 他 程序 ， 有 
助 于 实现 稳定 的 故障 恢复 和 测试 重 置 。 

















图 6-3 ”监控 进程 
实践 3: 采用 多 种 技术 记录 测试 执行 过 程 和 被 测 产品 表现 
如 代码 清单 6-4 所 示 的 单元 测试 利用 断言 (Assert.AreEqual ) 和 异常 


来 报告 软件 错误 ， 并 将 这 些 信息 写 入 测试 日 志 。 因 为 单元 测试 目标 明 
确 、 代 码 短小 ， 程 序 员 参 照 测 试 代 码 阅读 测试 日 志 就 以 大 致 了 解 测 试 代 








码 的 执行 情况 。 通 常 ， 他 根据 断言 或 异 信息 就 以 定位 出 错 的 测试 语句 ， 
问 前 浏览 一 段 测 试 代码 就 能 够 了 解 出 错 的 原因 。 


系统 测试 的 流程 较 长 ， 窗 盖 产 品 的 多 个 功能 和 部 件 ， 可 能 其 露出 多 种 不 
同类 型 的 缺陷 。 因 此 ， 测 试 人 员 应 该 用 多 种 方法 来 监控 产品 和 记录 测试 
执行 信息 。 一 方面 是 提供 更 多 的 信息 ， 以 便于 错误 调查 ， 男 一 方面 是 从 
多 个 角度 检查 软件 ， 从 而 识别 软件 缺陷 。 以 下 是 一 些 常见 的 实践 方法 。 








采用 6.2.3 节 介绍 的 测试 开发 方法 ， 通 过 日 志 函 数 来 记录 测试 参数 、 
测试 步骤 、 产 品 输出 等 信息 ， 让 测试 日 志 可 以 提供 测试 执行 和 产品 
状态 的 详细 信息 。 


采用 6.2.3 节 介绍 的 测试 开发 方法 ， 在 每 一 步 操作 结束 后 ， 检 查 产 品 
的 状态 和 输出 ， 一 旦 发 现 问题 ， 就 记录 错误 或 抛 出 异常 。 这 有 助 于 
尽早 发 现 不 符合 预期 的 异常 情况 ， 使 得 暴露 错误 的 地 点 尽 可 能 地 接 
近 错 误 源头 。 


通过 屏幕 截图 来 捕获 产品 的 状态 。 对 于 拥有 图 形 界面 的 软件 而 言 ， 
一 幅 屏 幕 截图 可 以 提供 其 状态 的 快照 ， 能 够 提供 许多 细节 信息 。 测 
试 人 员 可 以 选择 或 开 友 文 持 屏 帮 截 图 的 测试 框架 。 该 框架 为 测试 开 
发 提供 了 屏幕 截图 函数 ， 并 且 会 在 测试 失败 时 目 动 截取 当前 屏幕 ， 
将 图 片 保 存在 测试 日 志 目 录 。 利 用 屏幕 截图 函数 ， 测 试 人 员 可 以 在 
关键 操作 之 前 或 之 后 截取 屏幕 ， 以 记录 一 组 产品 的 快照 。 在 调 碍 测 
试 失 败 时 ， 测 试 人 员 打 开 测 试 日 志 目 录 ， 浏 贤 这 组 屏 磊 截图 即 可 以 
了 了解 产品 对 测试 操作 的 反应 。 在 许多 情况 下 ， 这 批 图 片 将 提供 测试 
失败 的 重要 线索 。 


当 测 试 程序 (或 监控 程序 ) 发 现 产 品 处 于 寞 第 状态 时 ， 它 调用 操作 
系统 提供 的 API 生 成 产品 进程 的 内 存 转 储 文件 。 该 文件 可 以 帮助 测 
试 人 员 了 解 产 品 状态 的 细节 ， 提 高 故障 诊断 的 效率 。 此 外 ， 测 试 程 
序 可 以 修改 操作 系统 配置 ， 让 操作 系统 自动 生成 骨 演 进程 的 内 存 转 
储 文件 。 在 测试 结束 时 ， 测 试 程序 将 新 生成 的 内 存 转 储 文件 移动 到 
测试 日 志 目 录 ， 以 供 测 试 人 员 分 析 。 


对 于 长 时 间 运 行 且 不 重启 产品 的 系统 测试 ， 测 试 程 序 需 要 持续 监控 
产品 的 性 能 指标 和 资源 占用 情况 。 常 见 的 性 能 指标 包括 产品 对 用 户 
操作 的 啊 应 时 间 、 完 成 特定 任务 的 时 间 、 在 单位 时 间 内 完成 业务 的 
数量 等 ， 常 见 的 资源 对 象 包括 CPU、 内 存 、 句 柄 、 网 络 带宽 、 数 据 






































库 连 接 等 。 如 条 发 现 产 品 出 现 速度 迟缓 、 资 源 占用 过 多 、 资 源 泄漏 
等 问题 ， 测 试 程序 需要 记录 错误 信息 ， 并 保存 内 存 转 储 文件 和 相关 
性 能 数据 。 这 有 助 于 发 现 一 些 长 时 间 训 试 才 能 暴露 的 问题 。 


实践 4: 利用 关系 型 数据 库存 储 测试 数据 和 产品 输出 
如 果 系 统 测试 需要 庞大 的 测试 数据 或 产品 会 产生 大 量 的 输出 数据 ， 测 试 
人 员 可 以 考虑 用 关系 型 数据 库 来 管理 这 些 输 入 或 输出 数据 。 以 下 是 两 个 


案例 。 

















案例 1 : 订单 处 理 服 务 A 古 整个 工作 流 的 一 部 分 ， 它 从 订单 数据 库 中 读 
取 订 单 ， 对 各 个 字段 进行 计算 ， 然后 将 计算 结果 写 回 订单 数据 库 ， 供 其 
他 服务 继续 处 理 。 在 产品 环境 中 ， 该 服务 每 天 会 处 理 大 量 的 订单 ， 产 生 
许多 计算 结果 。 测 试 人 员 开发 了 多 种 上 自动 化 测试 ， 从 多 个 角度 来 测试 
它 。 其 中 一 种 方法 是 从 数据 库 的 角度 来 测试 服务 A， 其 架构 如 图 6-4 所 
示 ， 其 执行 过 程 如 下 。 
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源 数据 库 


图 6-4 用 测试 数据 库 来 测试 订单 处 理 服务 


1. 测试 程序 调用 测试 人 员 编 写 的 数据 库 创 建 脚本 ， 生 成 名 字 唯 一 的 测试 
数据 库 。 该 数据 库 的 架构 包含 产品 数据 库 架 构 以 及 一 组 测试 用 途 的 表格 
和 存储 过 程 。 


2. 测试 程序 调用 测试 数据 库 的 存储 过 程 ImportOrder， 将 一 批 订单 数据 从 
源 数 据 库 导入 到 测试 数据 库 。 源 数据 库 的 订单 包含 产品 数据 库 的 真实 数 
据 和 测试 人 员 制 造 的 测试 数据 。 


3. 测试 程序 修改 服务 A 的 数据 库 链接 字符 串 ， 让 它 指 癌 测 试 数据 库 。 
4. 测试 程序 局 动 服务 A。 
5. 服务 A 持续 从 测试 数据 库 读 取 订单 ， 并 将 结果 写 回 测试 数据 库 。 


6. 测试 程序 调用 测试 数据 库 的 存储 过 程 CheckProgress， 以 检查 尚未 处 理 
的 订单 数量 。 如 果 服 务 A 没 有 在 规定 时 间 内 完成 所 有 订单 计算 ， 测试 程 
序 会 记录 错误 信息 ， 并 终止 测试 。 


7. 在 服务 A 完 成 了 订单 计算 之 后 ， 测 试 程 序 调 用 测试 数据 库 的 存储 过 程 
CheckResult， 以 检查 数据 库 中 的 计算 结果 。 该 存储 过 程 调 用 一 组 存储 过 
程 ， 从 多 个 角度 分 析 服 务 A 的 输出 。 如 果 它 们 发 现 了 错误 ， 会 将 错误 信 
A'S AS TestErros. 


8. 测试 程序 读 取 表格 TestErros。 如 果 表 格 为 空 ， 测 试 程序 记录 测试 通 
过 。 如 有 果 表 格 不 为 空 ， 测 试 程序 记录 测试 失败 ， 并 将 测试 数据 库 的 连接 
字符 串 写 入 测试 日 志 ， 供 测试 人 员 分 析 。 因 为 测试 程序 每 次 会 创建 不 同 
名 字 的 测试 数据 库 ， 所 以 之 后 的 测试 执行 不 会 删除 或 修改 之 前 的 测试 数 
据 库 。 通 闸 ， 测 试 数据 库 会 在 几 天 后 被 一 个 定期 执行 的 程序 删除 。 


案例 2 : 测试 人 员 将 一 个 性 能 测试 用 例 加 入 每 日 测试 。 该 测试 用 例 窗 音 
了 一 个 典型 的 用 户 情景 。 在 测试 用 例 的 最 后 一 步 ， 它 会 检查 测试 执行 的 
用 时 。 如 果 用 时 超过 规定 的 时 限 ， 它 会 记录 错误 信息 。 无 论 测试 是 否 
败 ， 它 都 会 将 被 测 产 品 的 版 本 号 、 测 试用 例 编写 和 用 时 写 入 一 个 性 能 数 
据 库 。 每 两 周 ， 一 个 程序 会 读 取 性 能 数据 库 ， 生 成 报表 发 送 给 测试 人 
员 。 当 测试 人 员 读 到 如 图 6-5 所 示 的 曲线 图 时 ， 他 可 以 快速 了 解 产品 的 
性 能 变化 趋势 。 对 于 编号 为 201 的 测试 用 例 ， 各 个 版 本 的 用 时 大 致 相 
同 ， 说 明 产 品 在 这 个 用 户 情景 中 的 速度 表现 比较 稳定 。 对 于 编写 为 202 
的 测试 用 例 ， 版 本 10.05 的 用 时 明显 高 于 之 前 版 本 ， 上 暗示 该 版 本 包含 一 
些 代码 变更 ， 使 得 产品 速度 剧烈 下 降 。 即 便 版 本 10.05 的 用 时 没有 超过 
规定 的 时 限 ， 测 试 人 员 也 可 以 花 一 些 时 间 调 查 性 能 下 降 的 原因 ， 以 更 好 
地 理解 产品 代码 的 变化 。 
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如 果 产 品系 统 包含 数据 库 ， 那 么 可 以 考虑 在 测试 环境 中 使 用 测试 
数据 库 来 模仿 产品 数据 库 ， 以 测试 访问 数据 库 的 软件 。 测 试 数据 
库 提 供与 产品 数据 库 相 同 的 架构 〈 表 、 视 图 、 函 数 、 和 存储 过 程 
等 ) ， 从 而 “无 颖 ?地 融入 被 测 系统 。 它 还 包含 一 组 测试 用 途 的 表 、 
男 数 、 存 储 过 程 、 触 及 器 等 对 象 ， 以 便 在 测试 过 程 中 检查 对 数据 库 
的 读 写 。 此 时 ， 测 斌 数据 库 是 一 种 模拟 对 象 ， 它 既是 被 测 系统 的 一 
部 分 ， 承 担 厦 特 定 的 业务 任务 ， 又 是 自动 化 测试 的 一 部 分 ， 承 担 看 
测试 系统 的 工作 。 


数据 库 提供 了 强大 的 数据 存储 和 处 理 能 力 。 利 用 SQL 语言 ， 测 试 
人 员 能 够 方便 且 蜗 效 地 但 询 、 修 改 、 生 成 大 量 的 数据 。 这 对 目 动 化 
测试 的 数据 准备 、 结 果 检 查 、 报 告 生 成 等 任务 很 有 帮助 。 


利用 数据 库 可 以 方便 地 分 析 数 据 。 在 测试 设计 、 故 障 诊 断 等 任务 
中 ， 测 试 人 员 部 需要 分 析 产 品 所 读 取 和 产生 的 数据 。 如 果 这 些 数 据 
存储 在 数据 库 中 ， 测 试 人 员 可 以 用 SQL 碍 询 去 灵活 地 探索 它们 ， 通 
过 反复 地 查询 、 分 析 、 再 查询 来 理解 数据 状态 ， 从 而 更 好 地 把 握 整 
个 系统 的 行为 。 


利用 数据 库 可 以 方便 地 生成 报表 。 目 前 ， 有 多 种 成 熟 的 技术 可 以 
读 取 数据 库 ， 并 生成 各 种 图 表 。 测 试 人 员 可 以 采纳 合适 的 技术 ， 来 
分 析 测 试 数据 或 测试 结果 ， 并 获得 数据 的 可 视 化 表示 。 这 有 助 于 测 











试 人 员 快 速 理解 数据 ， 发 掘 其 中 的 信息 。 
实践 5: 恰当 地 利用 基于 图 形 界面 的 “捕获 回放 ”技术 


在 软件 测试 中 ， 捕 获 回 放 是 指 用 工具 捕获 外 界 对 软件 的 操作 ， 并 记录 为 
测试 脚本 ， 然 后 根据 脚本 去 回放 事件 来 操控 软件 ， 并 检查 软件 的 反应 。 
基于 图 形 界 面 的 捕获 回放 技术 记录 用 户 对 软件 的 输入 事件 ， 包 括 键盘 输 
入 、 鼠 标点 击 、 和 触摸 手势 等 ， 并 通过 回放 这 些 事件 来 复 现 操作 流程 。 基 
于 该 技术 ， 测 试 人 员 可 以 将 手工 的 测试 过 程 录 制 为 测试 脚本 ， 然 后 重播 
该 脚本 来 检查 软件 的 行为 与 录制 时 的 行为 保持 一 致 。 


基于 图 形 界面 的 捕获 回放 位 于 自动 化 测试 金字 塔 的 顶层 ， 拥 有 较 高 的 测 
人 
限 如 下 。 


。 录制 所 得 的 脚本 的 可 读 性 较 差 。 它 只 是 忠实 地 记录 了 手工 测试 的 
动作 常常 包含 一 些 风 余 的 动作 ， ， 没 有 体现 出 测试 的 意图 。 因 
此 ， 理 解 测 试 脚本 是 一 项 困难 的 任务 。 


录制 所 得 的 脚本 依赖 于 录制 时 的 软件 界面 。 当 软件 界面 发 生变 动 
时 ， 脚 本 需要 被 修改 或 重新 录制 。 在 许多 项 目 中 ， 软 件 界面 会 快速 
演化 ， 这 显著 提高 了 修正 脚本 的 频率 。 


为 了 完善 测试 逻辑 ， 测 试 人 员 会 修改 录制 的 脚本 ， 以 增加 一 些 额 
外 的 操作 命令 或 检查 指令 ， 而 重新 录制 的 脚本 不 包含 这 些 额外 的 
-a a 
护 的 成 本 。 


基于 图 形 界 面 的 测试 党 第 受到 各 种 因素 的 干扰 ， 而 不 够 稳定 。 例 
如 ， 测 试用 例 同 软件 发 送 贡 文字 符 串 ， 以 提供 字段 值 。 在 测试 执行 
时 ， 中 文 输入 法 因为 菜 种 原因 被 局 动 ， 于 是 实际 输入 的 字符 串 是 中 
文字 符 串 。 软 件 发 现 输入 字符 串 的 格式 不 正确 ， 于 是 报告 操作 失 
败 。 如 果 回 归 测 试 产 生 大 量 此 类 虚假 失败 ， 测 试 人 员 将 因为 调 碍 和 
修复 它们 耗费 大 量 的 时 间 。 


里 然 基 于 图 形 界面 的 捕获 回放 不 适合 反复 运行 的 回归 测试 ， 但 它 适用 于 
一 些 短期 的 测试 任务 。 测 试 人 员 可 以 利用 捕获 技术 来 快速 生成 测试 脚 
本 ， 然 后 用 回放 技术 来 重复 播放 测试 脚本 ， 以 完成 一 些 操 作 和 密集 的 测试 
































任务 。 例 如 ， 测 试 人 员 需 要 评估 被 测 网 站 的 性 能 ， 他 采用 如 下 步骤 实施 
测试 。 


1. 走访 产品 经 理 ， 了 解 网 站 需要 文 持 多 少 并 发 会 话 ， 并 确定 一 组 典型 的 
HP TER o 


2. 走访 实际 用 户 ， 与 他 们 讨论 并 完善 这 组 使 用 情景 ， 并 确定 每 个 情景 的 
使 用 频率 。 


3. 根据 前 两 步 的 结果 ， 明 确 基 本 测试 需求 : 该 网 站 最 多 文 持 500 个 并 发 
会 话 ， 拥 有 6 个 典型 的 用 户 情景 。 


4. 选择 一 个 功能 稳定 的 版 本 作为 测试 对 象 ， 并 搭建 测试 环境 。 


5. 使 用 捕获 回放 工具 来 录制 这 6 个 情景 。 对 于 每 个 情景 ， 他 先 手工 操作 
一 遍 ， 然 后 回放 录制 所 得 的 脚本 。 如 采 脚 本 不 能 准确 再 现 手工 操 作 的 流 
程 ， 他 会 调试 并 修改 脚本 ， 或 者 重新 录制 一 届 。 因 为 他 使 用 的 捕获 回放 
工具 比较 成 熟 ， 获 得 一 个 稳定 的 脚本 只 需 15~20 分 钟 ， 所 以 他 只 用 两 个 
小 时 就 生成 了 所 有 脚本 。 如 宁 通 过 编码 来 实现 这 些 脚 本 ， 他 可 能 需要 

1~2 天 的 时 间 。 捕 获 回放 工具 提高 了 测试 开发 的 效率 。 

6. 用 一 个 虚拟 用 户 来 分 别 运行 6 个 脚本 ， 获 得 它们 在 单 用 户 情况 下 的 基 
线性 能 数据 。 

7. 用 测试 工具 生成 50 个 虚拟 用 户 ， 并 发 地 执行 这 6 个 脚本 。 他 根据 使 用 
频率 来 分 配 虚 拟 用 户 数 ， 即 最 常见 的 用 户 情景 获得 最 多 的 虚拟 用 户 ， 相 
对 少见 的 用 户 情 景 获得 较 少 的 虚拟 用 性。 该 测试 持续 10 分 钟 ， 每 个 虚拟 
用 户 都 反复 执行 了 它 所 获得 的 脚本 。 测 试 人 员 收 集 到 一 批 性 能 数据 。 


8. 执行 测试 ， 以 获得 100 个 、200 个 、300 个 、400 个 、500 个 虚拟 用 户 的 
性 能 数据 。 


9. 用 测试 工具 生成 600 个 虚拟 用 户 ， 以 检查 超过 预期 峰值 的 流量 会 对 网 
站 产生 何 种 影响 。 


10. 运行 1000 个 虚拟 用 户 的 压力 测试 ， 并 收集 性 能 数据 。 


11. 分 析 所 有 性 能 数据 ， 编 写 性 能 测试 报告 以 总 结 测试 发 现 ， 然 后 将 报 
告发 送 给 项 目 团队 。 












































12. 根据 团队 成 员 对 性 能 测试 报告 所 提出 的 问题 ， 设 计 并 执行 新 的 测 


试 ， 以 获得 答案 。 


分 析 以 上 步 又 不 难看 出 ， 该 测试 策略 回避 了 捕获 回放 的 基本 缺点 。 首 
先 ， 测 试 人 员 只 录制 少量 的 脚本 来 履 盖 典型 的 用 尸 情景， 这 降低 了 意外 
因素 对 测试 运行 的 有 影响。 其次， 所 录制 的 脚本 只 针对 特定 版 本 ， 从 而 不 
必 担 心 用 户 界 面 变 更 导致 的 测 斌 失败。 再次， 下 次 执行 系统 级 的 性 能 测 
试 时 ， 网 站 可 能 拥有 新 的 界面 和 用 户 情景 测试 人 员 会 放弃 失效 的 肢 
本 ， 录 制 新 的 脚本 。 由 于 录制 新 脚本 的 开销 很 低 ， 训 试 人 员 无 需 在 意 这 
批 脚本 的 可 读 性 和 可 修改 性 。 


目前 ， 主 流 的 捕获 回放 工具 对 脚本 录制 、 脚 本 播放 、 虚 拟 用 户 生成 、 性 
能 数据 收集 、 性 能 数据 分 析 痢 提供 了 较 好 的 支持 。 测 试 人 员 可 以 在 一 天 
内 完成 第 (5) 步 ~ 第 (11) 步 的 脚本 生成 、 测 试 运行 、 数 据 分 析 和 报告 编 
写 。 这 加 快 了 性 能 测试 的 反馈 速度 ， 提 高 了 性 能 测试 的 机 动 性 。 对 于 一 
些 项 目 团 队 ， 基 于 图 形 界面 的 捕获 回放 技术 为 此 类 测试 提供 了 足够 好 的 
解决 方案 。 

实践 6: 为 测试 执行 和 失败 调查 制定 明确 的 工作 流程 

编写 目 动 化 系统 测试 的 目的 是 为 了 获得 产品 的 质量 信息 ， 所 以 编写 代码 
只 完成 了 工作 的 一 部 分 。 系 统 测试 比 单元 测试 复杂 得 多 ， 需 要 大 量 的 时 
间 来 运行 ， 会 产生 大 量 且 复杂 的 错误 信息 。 如 果 丽 于 管理 ， 测 试 小 组 可 
能 无 法 及 时 、 有 效 地 处 理 这 些 信 息 ， 也 不 能 快速 地 修复 测试 代码 的 错 
误 。 久 而 久之 ， 训 试用 例 集会 包含 很 多 有 问题 的 测试 用 例 ， 产 生 伴随 大 
量 “ 噪 首 ” 的 测试 结果 ， 并 失去 测试 人 员 的 信任 。 为 了 推动 系统 测试 的 民 
性 发 展 ， 测 试 小 组 需要 制定 工作 流程 ， 以 明确 地 回答 以 下 问题 。 

。 由 目 动 化 系统 测试 组 成 的 回归 测试 用 例 集 有 哪些 ? 

。 这 些 回归 测试 用 例 集 以 什么 频率 运行 ? 

。 谁 负 贡 局 动 这 些 回归 测试 用 例 集 ? 

© 谁 负责 搭建 并 维护 系统 测试 的 测试 环境 ? 


。 谁 负责 发 送 测试 用 例 集 的 测试 结果 报告 ? 




















谁 负 责 调查 测试 失败 ? 是 测试 编写 者 调 碍 ， 还 是 团队 共同 调查 ? 
汕 试 失 败 调查 的 完成 标准 是 什么 ? 

汕 试 失 败 调查 需要 在 什么 时 限 内 完成 ? 

谁 负 贡 修复 有 错误 的 测试 代码 ? 

测试 代码 修复 完成 的 标准 什么 ? 

测试 代码 修复 需要 在 什么 时 限 内 完成 ? 

如 果 需 要 临时 打破 测试 运行 、 调 查 、 修 复 的 例 行 流程 ， 应 该 采取 什 


HA 一 一 


么 行动 ? 


如 果 需 要 修改 测试 运行 、 调 但 、 修 复 的 例 行 流程 ， 应 该 采取 什么 行 
动 ? 











如 果 将 测试 代码 视 为 基于 产品 代码 的 应 用 ， 测 试 小 组 就 是 该 应 用 的 运 维 
团队 。 测 试 领导 和 测试 人 员 应 该 共同 制定 出 运行 、 调 查 、 修 改 、 增 强 自 
动 化 测试 的 流程 和 制度 。 只 有 明确 人 员 责 任 、 工 作 目标 、 工 作 期 限 、 变 
更 方法 ， 才 有 可 能 让 复杂 的 目 动 化 系统 测试 持续 地 提供 价值 。 


6.2.6 ”让 自动 化 测试 服务 于 项 目 


目 动 化 测试 的 目标 是 帮助 整个 团队 更 好 地 开发 产品 。 在 不 同 的 项 目 ， 测 
试 小 组 会 采用 不 同 的 目 动 化 策略 来 达成 该 目标 。 一 般 说 来 ， 好 的 上 自动 化 
测试 能 够 平滑 地 融入 开发 流程 ， 快 速 、 稳 定 、 持 续 地 提供 产品 的 质量 信 
恩 。 本 节 分 享 我 的 一 次 上 自动 化 经 历 ， 昌 然 实践 方法 只 适用 于 特定 的 项 
目 ， 但 是 仍 体现 了 一 些 好 的 思路 和 经 验 。 


我 曾经 参与 过 一 个 分 布 式 系 统 的 测试 。 当 时 ， 测 试 小 组 实践 了 一 种 与 持 

续集 成 [Duvall07] 类 似 的 测试 活动 : 滚动 测试 。 这 是 一 个 全 自动 的 编译 

和 测试 过 程 。 在 每 个 小 时 ， 测 试 脚 本 从 源 代 码 管理 系统 获得 最 新 版 本 的 

代码 ， 进 行 完整 的 编译 。 然 后 ， 在 一 台 干 滔 的 机 器 上 部 车 新 构建 的 系 
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深 动 测试 不 是 严格 意义 上 的 持续 集成 ， 不 过 它 发 挥 了 相似 的 作用 。 我 和 
同事 希望 通过 它 来 达成 以 下 目标 。 


尽快 地 发 现 集成 错误 。 开 发 者 在 自己 的 开发 环境 中 工作 ， 他 所 看 
到 的 系统 是 他 最 后 一 次 检 出 的 结果 ， 他 根据 这 一 版 本 的 “知识 ”来 开 
发 新 的 功能 。 虽 然 两 个 开发 者 基于 相同 的 “知识 ”进行 开 肥 ， 但 是 不 
能 保证 他 们 所 构造 的 新 “理论 ?是 相互 一 致 的 。 往 往 ， 两 部 分 代码 都 
通过 了 单元 测试 ， 但 是 提交 之 后 却 引发 了 集成 错误 。 滚 动 测试 用 端 
到 问 的 系统 测试 弥补 了 单元 测试 的 不 足 ， 能 够 快速 提供 系统 级 的 测 


试 反 馈 。 


节省 开发 时 间 。 集 成 错误 往往 会 阻碍 全 面 的 系统 测试 。 例 如 ， 模 
块 A 不 能 正确 解释 模块 B 的 输出 ， 它 抛 出 异常 并 停止 工作 。 这 时 ， 

系统 测试 将 无 法 窗 荔 模块 A 及 其 后 续 模块 的 代码 。 这 将 严重 影响 测 
试 效 率 ， 甚 至 使 得 每 日 运行 的 全 面 回 归 测 试 变 得 毫 无 效果 。 滚 动 测 
试 可 以 在 代码 检 入 之 后 的 一 个 多 小 时 内 捕获 到 此 类 严重 错误 ， 让 开 
发 者 能 够 在 第 一 时 间 修 正 错误 ， 清 除 测试 障碍 。 有 时 开发 者 的 修正 
会 引入 的 新 的 集成 错误 ， 滚 动 测试 的 安全 网 会 再 次 捕捉 到 它 ， 于 是 
我 们 有 机 会 保证 : 在 下 班 回 家 的 时 候 ， 没 有 明显 的 集成 错误 。 


发 现 环境 错误 。 所 有 的 开发 者 都 应 该 听从 John Robbins 的 忠告 : 不 
要 在 开发 机 上 使 用 管理 员 权 限 [Robbins07]。 不 过 久 经 世故 的 Cem 

Kaner 也 说 过 : “本 书 介绍 的 测试 ， 假 定 的 前 提 是 你 的 同伴 现在 没 

有 、 将 来 也 不 会 并 且 也 没有 必要 遵循 这 些 规 定 。”[Kaner99] 由 于 开 
发 者 在 开发 机 上 拥有 管理 员 权 限 ， 他 们 安装 了 各 式 各 样 的 工具 和 运 
行 库 ， 我 们 无 法 保证 所 开发 出 的 系统 能 够 在 其 他 环境 中 以 合适 的 权 
限 正常 工作 。 滚 动 测试 在 干净 的 机 器 上 部 署 被 测 系统 ， 能 够 发 现 许 
多 在 开发 环境 中 无 法 发 现 的 错误 。 所 谓 干 净 的 机 器 ， 并 不 要 求 重 新 
安装 操作 系统 ， 只 是 要 求 完 整地 卸载 了 旧版 本 的 系统 。 


保证 被 测 版 本 的 基本 质量 。 这 使 测试 团队 更 有 信心 进行 大 规模 的 
功能 测试 和 压力 测试 。 

















在 确定 目标 后 ， 我 们 进行 了 紧张 的 测试 开发 ， 在 很 短 的 时 间 内 完成 了 编 
码 和 测试 环境 搭建 ， 开 始 了 整个 流程 的 运转 。 以 下 是 当时 的 开发 策略 。 


全 目 动 地 编译 、 部 绪 和 测试 。 如 图 6-6 所 示 ， 定 时 任务 在 每 个 整 点 
触发 流程 ， 测 试 脚本 从 源 代码 管理 系统 获得 最 新 代码 ， 然 后 调用 编 


译 工具 执行 完整 的 编译 。 如 果 编 译 失 败 ， 测 试 脚本 发 邮件 报告 编译 
KM, PRGA ITE. WRI RI, CHEB TMA Las Ea 
整个 系统 ， 调 用 测试 框架 执行 系统 测试 。 最 后 ， 它 汇总 测试 结果 ， 
生成 测试 报告 ， 并 用 邮件 发 送 给 负责 滚动 测试 的 测试 人 员 。 


部 警 完整 的 系统 。 对 于 一 些 分 布 式 系统 而 言 ， 将 所 有 的 子 系统 部 
署 在 一 台 机 器 上 有 些 “ 不 合 情 理 ”。 但 是 ， 部 署 所 有 的 子 系统 可 以 测 
试 到 所 有 的 子 系统 的 安 竣 ， 也 能 够 检查 出 由 于 子 系统 冲突 造成 的 安 
装 失 败 。 安 装 是 任何 系统 的 核心 功能 ， 是 滚动 测试 必 不 可 少 的 测试 
内 容 。 此 外 ， 在 部 普 最 新 版 本 之 前 ， 滚 动 测试 会 反 安 装 旧 版 本 的 系 
统 。 这 也 测试 了 系统 的 反 安 装 功 能 。 


。 用 DOS 脚 本 串联 各 步骤 。 从 以 上 流程 可 以 看 出 ， 滚 动 测试 所 使 用 
的 工具 无 非 是 : 操作 系统 的 定时 任务 、 源 代码 管理 工具 、 构 建 工 
有 具 、 自 动 化 测试 框架 、 内 部 邮件 系统 ， 这 些 都 是 项 目 团队 的 常备 工 
有 具 。 因 此 ， 用 合适 的 方法 将 工具 连接 起 来 ， 构 建 出 完整 的 流程 ， 是 
架设 滚动 测试 的 主要 任务 。 在 windows 平 台 上 ，DOS Shell 是 最 常用 
RUBIA, TICS ASCHER, FA BAA OR AT 

。 滚动 测试 要 能 够 在 30 分 钟 内 完成 。 如 果 滚 动 测试 发 现 了 错误 ， 开 
发 人 员 需 要 在 滚动 测试 环境 中 调查 故障 原因 。 为 了 不 影响 下 一 次 深 
动 测 试 ， 一 般 要 留 下 30 分 钟 的 时 间 给 开发 人 员 进 行 诊断 。 


构建 服务 器 测试 计算 机 测试 人 员 


(5) 发 送 测 试 C) 


结果 邮件 | | 
图 6-6 ”滚动 测试 流程 


编码 完成 只 是 测试 开发 的 第 一 步 ， 更 重要 的 是 在 测试 欠 代 中 维护 测试 代 
码 ， 让 它们 持续 为 项 目 作出 贡献 。 为 了 快速 启动 深 动 测试 ， 第 一 版 的 测 




















(2) 通知 测试 计算 
机 获取 最 新 构建 





(1) 在 整 点 ， 获 得 (3) 安装 构建 
最 新 代码 并 编译 (4) 运行 测试 








试用 例 集 是 较 简 陋 的 ， 只 包含 几 条 很 简单 的 测试 用 例 。 随 着 测试 的 推 


进 ， 


我 们 持续 改进 测试 用 例 集 。 以 下 是 当时 的 维护 策略 。 


测试 用 例 集 包含 最 重要 的 端 到 端 系 统 测 试 。 滚 动 测试 的 主要 目的 
征 发 现 集成 错误 ， 因 此 测试 执行 应 该 能 够 “从 输入 到 输出 ” 黎 凋 到 所 
有 的 子 系统 。 考 夸 到 用 户 价值 ， 测 试用 例 应 该 能 够 体现 最 重要 的 用 
户 情 景 。 由 于 演 动 测试 的 时 间 有 限 ， 测 试用 例 应 该 “ 贵 精 不 贵 多 ”， 
用 较 少 的 用 户 情景 覆盖 所 有 的 子 系统 。 


测试 用 例 只 进行 必要 的 检查 。 有 些 功 能 难以 用 简单 的 测试 用 例 来 
履 闸 ， 这 时 可 以 构建 独立 的 测试 用 例 集 来 检验 它 不 存在 严重 的 错 

误 。 滚 动 测试 的 目的 不 是 检查 出 所 有 的 错误 ， 而 是 发 现 那些 会 阻碍 
进一步 测试 的 缺陷 。 因 此 ， 不 需要 构建 完备 、 严 厉 的 测试 用 例 集 ， 

只 需要 验证 子 系统 的 基本 功能 可 以 工作 即 可 。 


确保 所 有 的 测试 用 例 是 正确 的 。 有 时 系统 的 设计 会 发 生变 更 ， 这 
会 导致 部 分 测试 用 例 需 要 更 新 。 更 新 测试 用 例 的 工作 有 可 能 需要 几 
个 工作 日 才能 完成 。 这 时 ， 应 该 将 这 些 测试 用 例 从 滚动 测试 中 排除 
出 去 。 人 否则 ， 当 滚动 测试 报告 测试 执行 失败 时 ， 测 试 人 员 不 能 立即 
判断 是 被 测 系统 的 问题 还 是 测试 用 例 的 问题 ， 这 将 严重 降低 滚动 测 
试 的 报警 作用 。 特 别 是 ， 如 果 测 试 人 员 “ 上 默认 ”测试 失败 是 测试 用 例 
的 问题 ， 那 么 他 有 可 能 漏 过 严重 的 集成 错误 。 


及 时 地 维护 测试 用 例 集 。 系 统 会 增加 新 的 模块 、 用 户 情 景 会 友 生 
变化 、 测 试 工具 会 需要 更 新 ， 这 都 要 求 我 们 及 时 地 维护 滚动 测试 的 
汕 试用 例 集 ， 以 确保 测试 用 例 集 可 以 牙 凋 到 所 有 的 子 系统 ， 且 不 包 
售 错 误 的 测试 用 例 。 


及 时 地 啊 应 测试 报告 。 滚 动 测试 的 威力 在 于 根据 测试 结果 采取 及 
时 的 行动 。 如 果 对 于 每 小 时 一 次 的 错误 报告 采取 漠视 的 态度 ， 那 么 
之 前 所 花费 的 精力 将 坚 无 价值 。 我 的 做 法 是 利用 Microsot Outlook 的 
邮件 规则 ， 对 测 斌 报告 邮件 生成 一 个 通知 。 当 测试 报告 到 达 时 ， 
Outlook 会 弹出 一 个 对 话 框 ， 我 只 需要 按 一 下 “ 回 车 ” 键 ， 就 可 以 看 到 
报告 内 容 。 如 果 有 问题 ， 则 进行 调查 ， 如 果 没 有 问题 ， 按 两 下 “ 取 
消 ” 键 就 可 以 关闭 邮件 和 对 话 框 。 此 外 ， 我 还 设置 了 另 一 条 邮件 规 
则 ， 将 所 有 的 测试 报告 邮件 归档 到 一 个 单独 的 文件 夹 中 。 





























由 本 市 讨论 可 以 看 出 ， 计 划 、 开 友和 维护 是 目 动 化 测试 的 基本 元 素 。 测 


试 小 组 需要 付出 持续 的 努力 ， 才 能 让 自动 化 测试 有 效 地 为 项 目 服务 。 


6.3 ”计算 机 辅助 测试 


为 了 完成 测试 使 命 ， 测 试 人 员 需 要 开 友 各 种 类 型 的 代码 。 这 些 代码 不 但 
可 以 用 于 执行 目 动 化 测试 ， 还 可 以 支持 测试 分 析 、 环 境 配置 、 数 据 生 
成 、 失 败 调查 、 结 果 管 理 等 测试 任务 。 本 章 已 经 讨论 了 目 动 化 测试 ， 本 
节 将 介绍 文 持 其 他 测试 任务 的 软件 开发 。 


虽然 不 同类 型 的 测试 开发 会 得 到 看 似 分 离 的 代码 ， 但 是 它们 都 服务 于 项 
目测 试 ， 也 第 帝 会 相互 调用 、 役 此 补充 ， 所 以 它们 可 以 共 胖 相同 的 开发 
原则 和 实施 相似 的 开发 方法 。 目 动 化 测试 的 开发 可 以 参考 本 节 介 绍 的 策 
略 ， 测 试 工具 的 开发 也 可 以 考虑 本 章 已 经 介绍 的 实践 。 





6.3.1 “交通 工具 ”的 隐喻 


测试 专家 Johnathan Kohl 提 出 了 “交互 式 自动 化 测试 *[Kohl07]， 其 测试 开 
发 的 目标 不 是 让 上 自动 化 测试 取代 手工 测试 ， 而 是 创建 测试 工具 来 提高 测 
试 人 员 的 能 力 ， 从 而 实施 更 有 效 的 测试 。 为 了 更 好 地 表达 思想 ， 他 将 不 
同 的 测试 方式 比喻 为 不 同 的 “交通 工具 ”。 这 是 一 组 生动 且 传 神 的 隐喻 ， 
很 值得 测试 人 员 品 味 。 本 节 将 他 的 论述 摘录 如 下 。 


我 喜欢 走 着 上 班 。 我 很 享受 风景 、 运 动 以 及 一 边 漫步 一 边 思考 问题 
的 时 光 。 在 户外 新鲜 的 空气 中 ， 在 远离 电脑 的 思考 中 ， 我 获得 了 一 
些 极 好 的 想法 。 治 途 的 观察 激 肥 了 灵感 ， 将 我 引 辐 创造 性 的 解决 方 
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但 是 步行 是 绥 慢 的 ， 如 果 我 驻足 观 营 可 爱 的 动物 或 享受 日 出 暇 光 映 
红 的 山脉 ， 我 很 可 能 会 迟到 。 所 以 ， 在 赶 时 间 的 时 候 ， 我 会 搭乘 公 
共 交 通 。 虽 然 公 共 汽 车 或 列车 仍旧 伴随 着 步行 ， 但 是 我 能 用 快 得 多 
的 速度 及 时 地 到 达 目 的 地 。 我 极 少 驾 车 上 班 ， 因 为 这 让 我 无 暇 去 观 
察 和 思考 。 但 是 ， 当 别人 芍 车 时 ， 我 能 够 从 旅途 中 获得 很 多 。 例 
如 ， 最 近 我 坐 列 车 去 上 班 ， 在 路 上 发 现 了 以 前 从 未 注意 到 的 河谷 峭 
壁 。 我 曾经 多 次 经 过 河谷 ， 但 是 直到 坐 上 轻轨 的 那天 ， 在 没有 步行 
或 驾车 分 心 的 情况 下 ， 我 才能 用 全 新 的 角度 观察 到 新 的 景 


Jonathan Kohl, Man and Machine 























在 Jonathan Kohl 的 论述 中 ， 他 将 不 同 的 测试 活动 比喻 为 不 同 的 交通 方 
式 ， 每 种 方式 都 有 其 优点 与 不 足 。 


手工 测试 是 步行 。 在 漫游 产品 的 过 程 中 ， 测 试 人 员 可 以 观察 到 丰 
语 的 细节 ， 能 够 随时 暂停 预定 的 测试 路 线 ， 对 感 兴趣 的 局 部 进行 细 
致 的 测试 。 其 不 足 是 推进 的 速度 较 慢 ， 有 时 不 能 在 短 时 间 内 完成 长 
距离 的 旅行 (者 盖 更 多 的 测试 目标 〉。 


目 动 化 测试 是 驾车 。 其 优点 是 速度 快 ， 能 在 短 时 间 内 测试 大 量 的 
内 容 ， 其 不 足 是 自动 化 测试 只 做 规定 的 检查 ， 会 急 视 其 他 所 有 细 

节 。 即 便 软 件 出 现 一望 即 知 的 问题 ， 只 要 测试 代码 没有 做 相应 的 检 
查 ， 上 自动 化 测试 就 会 放 过 它 。 其 实 ， 目 动 化 测试 更 像 地 铁 ， 可 以 将 
公 量 乘客 傣 速 地 迹 到 目的 地 ， 但 古 所 有 旅客 都 无 法 观察 到 地 面 的 风 
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工作 ， 带 着 测试 人 员 快 速 地 漫游 产品 。 在 测试 过 程 中 ， 测 试 人 员 监 
控 产 品 的 表现 ， 如 宋 发 现 问题 ， 他 可 以 “下 和 车? 调查。 该 策略 综合 了 
手工 汕 试 和 自动 化 测试 的 优点 ， 利 用 软件 工具 来 提高 负 试 效率 、 丰 
富 测 斌 手段， 让 测试 人 员 能 够 更 好 地 观察 、 思 考 与 行动 。 


在 测试 中 ，Jonathan Kohl 会 使 用 watri3 、Watij4 、JUnit 等 程序 库 和 框 
架 来 开发 测试 程序 。 有 些 测试 程序 完成 测试 准备 工作 ， 让 他 方便 地 实施 
手工 测试 。 例 如 ， 测 试 Web 应 用 的 某 个 功能 时 ， 测 试 人 员 需 要 登录 账 

户 ， 并 完成 知 干 操作 ， 才 能 进入 目标 测试 页 面 。 对 此 ，Jonathan 会 编写 
测试 程序 ， 以 驱动 Web 浏 览 器 自动 完成 这 些 操作 ， 从 而 将 更 多 的 时 间 留 
给 测试 执行 。 另 一 些 程序 模拟 用 户 行为 ， 让 他 可 以 发 现 手工 测试 不 能 暴 
露 的 问题 。 例 如 ， 他 怀疑 Web 应 用 存在 一 个 多 用 户 并 发 操作 的 缺陷 。 为 
了 模拟 出 多 用 户 的 情景 ， 他 编写 了 一 个 程序 在 一 台 计 算 机 上 执行 用 户 动 
作 ， 他 本 人 则 在 男 一 台 计 算 机 上 执行 手工 测试 。 在 测试 程序 (虚拟 用 

户 ) 的 帮助 下 ， 他 发 现 了 稳定 复 现 该 缺陷 的 方法 。 还 有 些 程序 完成 手工 
测试 难以 完成 的 密集 测试 。 例 如 ， 他 编写 了 一 个 测试 用 例 ， 同 Web 应 用 
的 两 个 字段 提交 超过 5000 个 字符 的 字符 串 。 该 测试 导致 Web 应 用 抛 出 异 
党 。 根 据 异 常 信息 ， 他 又 增加 了 几 个 提交 长 字符 串 的 测试 用 例 ， 从 而 在 
几 分 钟 内 定位 到 缺陷 的 根源 。 



































3 用 Ruby 语 言 编写 的 测试 Web 应 用 的 程序 库 ，http://watir.com/ o 




















4 用 Java 语 言 编 写 的 测试 Web 应 用 的 程序 库 ，http://watij.com/ o 











5 著名 的 Java 语 言 单元 测试 框架 ，http://junit.org/ 。 


通过 实践 ，Jonathan Kohl 忌 结 了 一 批 计算 机 辅助 测试 的 适用 情景 。 测 试 
人 员 可 以 参考 以 下 测试 想法 ， 挖 所 更 多 的 测试 程序 需求 。 


。 用 程序 完成 需要 反复 执行 的 测试 准备 工作 。 
o 安装 指定 版 本 的 产品 。 


o 配置 测试 环境 ， 如 修改 注册 表 、 配 置 程序 路 径 、 设 置 产品 参 
数 、 启 动 调试 器 等 。 


o 驱动 产品 ， 令 它 完成 一 组 操作 ， 为 后 续 的 测试 做 好 准备 。 
。 用 程序 产生 测试 数据 ， 并 让 产品 使 用 它们 。 


o 生成 满足 特定 要 求 的 测试 数据 。 一 个 典型 的 例子 是 利用 PICT 和 
测试 模型 生成 组 合 测 试 数据 (参见 4.1.1 节 〉。 


o 从 其 他 数据 源 导 入 一 批 数据 ， 做 必要 的 清理 和 修改 ， 将 它们 作 
为 产品 的 测试 数据 。 


o 配置 产品 所 依赖 的 数据 文件 或 数据 库 ， 并 填充 测试 数据 。 
。 用 程序 模拟 用 户 操作 。 
o 自动 化 重复 操作 、 常 用 操作 、 典 型 工作 流 ， 以 提高 测试 效率 。 


o 在 测试 网 络 应 用 时 ， 用 测试 程序 模拟 用 户 行为 ， 以 构造 出 多 用 
户 使 用 的 情景 。 


。 用 程序 监控 产品 行为 。 
o 解析 产品 的 日 志文 件 ， 报 告 其 中 的 弄 帝 情况 。 
o 分 析 产 品 的 计算 结果 ， 报 告 违 反 业 务 规 则 的 案例 。 














运行 状态 和 性 能 指标 ， 报 告 运行 过 程 中 暴露 出 的 问 
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JonathanKohl 的 实践 表明 手工 测试 和 目 动 化 调试 并 不 是 相互 排斥 的 。 优 
夯 的 测试 人 员 会 综合 它们 的 优点 ， 开 发 出 更 具 威 力 的 测试 策略 ， 以 实现 
单独 的 手工 测试 或 目 动 化 测试 不 能 达到 的 效果 。 


6.3.2 ”选择 合适 的 开发 技术 


随 着 开发 技术 的 快速 有 发展， 测试 人 员 可 以 选择 的 语言 、 程 序 库 、 框 架 、 
工具 越 来 越 多 。 他 应 该 抱 着 开放 的 心态 ， 学 习 并 尝试 多 种 的 技术 ， 了 人 解 
它们 的 能 力 、 优 势 和 局 限 。 他 所 掌握 的 技术 越 多 ， 就 越 可 能 针对 当前 任 
务 做 出 合理 的 设计 。 而 且 ， 测 试 任务 是 多 种 多 样 的 ， 单 一 的 技术 并 不 适 
0 0 
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本 节 将 通过 一 组 简化 的 案例 来 展示 和 常见 的 技术 和 方法 。 讨 论 的 重点 不 在 
技术 本 身 ， 而 是 应 用 技术 的 策略 和 思路 。 

案例 1: 用 AutoHotKey 自 动 化 重复 的 输入 


AutoHotKey® 是 一 个 开源 的 鼠标 与 键盘 宏 工 具 。 它 提供 了 一 个 简单 的 肢 
本 语言 ， 让 用 户 编写 脚本 来 定义 快捷 键 和 对 应 的 宏 命 令 。 在 加 载 了 用 户 
脚本 之 后 ， 它 在 后 合 监 听 用 户 的 键盘 输入 。 一 旦 用 户 输入 预先 定义 的 的 
快捷 键 ， 它 束 会 执行 宏 命 令 ， 以 目 动 完成 一 系列 操作 。 

















6 http://www.autohotkey.com/ 。 





在 手工 测试 中 ， 测 试 人 员 有 时 得 重复 执行 一 组 机 械 操 作 。 为 了 提高 测试 
效率 ， 他 可 以 编号 AutoHotKey 脚 本 来 自动 化 此 类 重复 操作 。 


例如 ， 测 试 人 员 测 试 PowerPoint 的 图 片 寻 出 功能 ， 测 试 任务 需要 检查 导 
出 的 PNG 图 片 。 他 的 测试 策略 是 制作 多 种 不 同类 型 的 幻灯 片 页 面 ， 然 后 
输出 为 PNG 图 片 ， 并 审阅 输出 结果 。 为 了 将 文档 导出 为 PNG 图 片 ， 他 可 
以 点 击 “File Export Change File Type PNG Portable Network Graphics 
(.*png) Save As”( 详 见 图 6-7) ， 以 启动 “ 男 存 为 对话 框 ， 然 后 输入 目标 
路 径 和 文件 名 。 他 发 现 这 是 一 组 会 反复 执行 的 机 械 操 作 ， 于 是 编写 了 代 
码 清单 6-5 所 示 的 AutoHotKey 脚 本 。 访 脚本 的 作用 是 ， 当 测试 人 员 按 下 














Ctrl+F12，AutoHotKey 就 会 发 送 键盘 消息 ， 驱 动 PowerPoint 弹 出 “另存 
为 ”对话 框 ， 并 将 保存 路 径 设 为 指定 值 。 之 后 ， 测 试 人 员 只 要 输入 文件 
名 ， 就 可 以 完成 图 片 导 出 操作 。 
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图 6-7 PowerPoint 的 导出 功能 


代码 清单 6-5 ”执行 导出 图 片 操 作 的 AutoHotKey 脚 本 








AF12:: ; 快捷 键 是 Ctrl+F12 

Send !F ; 发 送 "Alt+F" 以 选择 "File" 
Send E ; 选择 "Export" 

Send C ; 选择 "Change File Type" 


Send F ; 选择 "PNG Portable Network Graphics (*.png)" 














Send A ; 选择 "Save As" 

WinWait, Save As ; 等 待 "Save As" 对 话 框 出 现 

Send C:\temp\ ; 发 送 目标 路 径 

Send {Enter} ; 发 送 " 回 车 "， 令 对 话 框 的 当前 路 径 转 移 到 目标 路 径 〈C:Ntemp ) 
return ; 结束 





对 于 了 解 AutoHotKey 的 测试 人 员 ， 编 写 代 码 清单 6-5 只 要 花费 几 分 钟 的 
时 间 ， 其 成 果 是 用 快捷 键 取代 了 一 组 键盘 操作 。 这 看 似 是 微 不 足 道 的 进 





步 ， 但 这 有 利于 训 试 人 员 摆脱 枯燥 的 重复 动作 ， 将 精力 集中 在 高 智力 挑 
战 的 任务 上 。 实 际 上 ， 测 试 过 程 缠 舍 许 多 通过 自动 化 来 提高 操作 效率 的 
情景 。 如 果 测 试 人 员 积 极地 识别 目 动 化 机 会 ， 并 合理 利用 ， 他 可 以 积累 
一 系列 小 的 目 动 化 成 果 来 显著 提高 测试 效率 。 


AutoHotKey 并 不 是 完成 此 类 任务 的 唯一 工具 ， 测 试 人 员 需 要 根据 产品 
类 型 和 当前 任务 选择 合适 的 工具 。 例 如 ，JonathanKohl 对 于 Web 应 用 选 
择 了 Watri 和 Watij 来 控制 浏览 器 和 页 面 。 使 用 恰当 的 工具 ， 测 试 人 员 只 
需 编写 很 短小 的 代码 就 可 以 达成 目标 。 使 用 不 恰当 的 工具 ， 测 试 人 员 会 
耗费 大 量 时 间 于 测试 代码 的 编写 和 调试 ， 以 至 于 压缩 了 测试 产品 的 时 
间 。 














7 对 于 PowerPoint 而 言 ， 实 现 快速 图 片 导出 的 另 一 种 方法 是 执行 VBA 语 句 : 





Application.Presentations.Item(1).SaveAs "c:\temp\test", ppSaveAsPNG, msoFa 


案例 2: 用 DOS 脚 本 目 动 化 测试 环境 配置 


案例 1 是 一 个 用 计算 机 加 速 测试 执行 的 例子 ， 本 案例 是 利用 脚本 来 进行 
汕 试 准 备 。 我 经 和 创建 虚拟 机 来 执行 测试 。 在 获得 一 个 新 的 虚拟 机 之 
后 ， 我 会 用 管理 员 权 限 运行 代码 清单 6-6 所 示 的 DOS 脚 本 ”。 






































8 代码 清单 6-6 是 一 个 简化 的 脚本 ， 真 实 的 脚本 要 更 复杂 一 些 。 





























代码 清单 6-6 ”配置 测试 环境 的 DOS 脚 本 


REM 1) setup variables 
set src=\\myserver\setup 
set tgt=c: 

set tools=%tgt%\tools 


REM 2) setup debuggers 
xcopy *src%\debuggers %tgt%\debuggers\ /Y /VE /H 


md c:\symbols 
stgt%\debuggers\windbg.exe -IS 


REM 3) setup kernel debugging 
bcdedit /debug on 
bcdedit /dbgsettings serial debugport:1 baudrate:11520@ 


REM 4) copy tools 
xcopy “*src%\tools %tools%\ /Y /VE /H 


REM 5) config machine 

reg.exe import %tools%\reg\powershell_config.reg 
reg.exe import %tools%\reg\windbg config.reg 
reg.exe import %tools%\reg\console_config.reg 


setx PATH "%PATH%; %tgt%\debuggers;%tools%" 


REM 6) map network driver 
net use z: \\myserver\share 


REM 7) setup fiddler2 
start %tools%\install\Fiddler4BetaSetup.exe 
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改 操作 系统 的 设置 。 各 步骤 的 概要 解释 如 下 。 


1. 建立 变量 ， 设 定 文件 要 从 何 处 获取 、 要 复制 到 本 机 的 哪个 目录 。 
2. 复制 Windbg 到 本 机 ， 并 将 它 设 定 为 事后 调试 器 。 

3. 开启 本 机 的 内 核 调 试 。 

4. 复制 一 组 文件 和 工具 到 本 机 。 





5. 导入 注册 表 文 件 来 修改 计算 机 配置 。 将 Windbg 的 目录 和 工具 目录 加 
入 到 环境 变量 PATH 。 


6. 将 共享 的 网 络 路 径 映 射 为 本 机 的 Z 盘 。 
7. 安装 HTTP 调 试 代理 Fiddler2。 


案例 2 说 明 利 用 操作 系统 的 Shell 和 内 建 命令 ， 测试 人 员 可 以 快速 地 配置 
操作 系统 和 软件 工具 ， 获 得 准备 就 绪 的 测试 环境 。 在 许多 情景 中 ， 测 试 
人 员 执 行 的 任务 与 系统 管理 员 很 类 似 ， 都 需要 配置 软 硬 件 参数 、 安 装 软 
件 和 维护 环境 。 学 习 一 些 系 统管 理 员 使 用 的 脚本 和 工具 ， 能 够 帮助 测试 
人 员 更 高 效 地 完成 测试 准备 。 

案例 3: 用 PowerShell 和 Excel 分 析 产 品 性 能 

测试 过 程 会 产生 许多 信息 ， 有 些 信息 需要 在 测试 执行 之 后 做 进一步 的 分 
析 。 人 例如， 测试 人 员 需 要 分 析 3 个 重要 操作 (FetchData, ExtractData, 
ComputeData) 的 性 能 。 于 是 ， 他 用 测试 代码 将 这 些 操作 的 用 时 写 入 测 
试 日 志 ， 有 具体 实现 请 参考 代码 清单 6-7。 


代码 清单 6-7 ”将 操作 的 用 时 写 入 日 志文 件 





























// 测试 辅助 类 : 利用 C# 的 Dispose 记 录 操 作 的 开始 、 结 束 和 用 时 














public class TimeLogger : IDisposable 


{ 


DateTime statTime; 
string action; 


public TimeLogger(string action) 





{ 
// 记录 操作 开始 
TestLog.Log("BeginAction\t{0}", actionMessage); 
this.statTime = System.DateTime.Now; 
this.actionMessage = action; 

} 


public void Dispose() 





// 记录 操作 结束 

// 记录 格式 : "EndAction<Tab>[ 操 作 名 ]<Tab>[ 用 时 ] seconds" 

TestLog.Log("EndAction\t{@}\t{1} seconds", 
this.action, 











(System.DateTime.Now - this.statTime).TotalSeconds); 


// 记录 操作 FetchData 的 用 时 
using (var logger = new TimeLogger("FetchData") ) 


{ 
} 
// 记录 操作 ExtractData 的 用 时 


using (var logger = new TimeLogger("ExtractData")) 


// FetchData 的 具体 操作 




















// ExtractData 的 具体 操作 











} 
// 记录 操作 ComputeData 的 用 时 
using (var logger = new TimeLogger("ComputeData")) 


{ 
} 























// ComputeData 的 具体 操作 











在 测试 执行 之 后 ， 测 试 人 员 使 用 代码 清单 6-8 的 PowerShell 脚 本 来 搜索 日 
志 目 录 下 的 日 志文 件 ， 然 后 用 正则 表达 

式 “EndAction\t(_. ?)\t(_.?)\sseconds” 来 匹配 记录 操作 用 时 的 文本 行 。 如 
果 匹 配 成 功 ， 脚 本 提取 操作 名 和 用 时 ， 将 它们 输出 到 perf.txt。 图 6-8 展 
示 了 该 脚本 的 输出 结果 。 


© perftt-Notepad2 - H 
File Edit View Settings ? 
Dala agx] «| 

1 FetchData —>2.4678642 A 
FetchData —>0.1249552 
ExtractData>78.8472253 
FetchData —>0.0468591 
ExtractData>24.8664255 
FetchData —+1.999296 
ExtractData>41.6576578 
ExtractData>22.0865087 
ComputeData>55.4031231 
ComputeData>3.139579 
11 ComputeData>4.4672342 
12 4 ComputeData>2.1400374 v 


ow N00 


e 





图 6-8 分 析 测 试 日 志 所 获得 的 操作 和 用 时 
代码 清单 6-8 ”用 正则 表达 式 分 析 测 试 日 志 ， 获 得 操作 的 用 时 





Get-ChildItem -Filter *.log -Recurse | 
Select-String "EndAction\t(.*?)\t(.*?)\sseconds" | 
Select -ExpandProperty Matches | 
foreach { '{0} t{1}' -f $_.Groups[1].Value, $ .Groups[2].Value } > perf 





然后 ， 测 试 人 员 用 Excel 导 入 perf.txt， 获 得 如 图 6-9 所 示 的 数据 表 。 基 于 
该 数据 表 ， 测 试 人 员 生 成 如 图 6-10 所 示 的 透视 图 ， 以 分 析 各 个 操作 的 平 
均 用 时 。 通 过 该 图 ， 测 试 人 员 可 以 直观 地 了 解 到 FetchData 的 速度 最 快 
(平均 用 时 为 0.45 秒 ) 、ExtractData 的 速度 最 慢 〈 平 均 用 时 20.45 秒 ) 、 
ComputerData 的 速度 接近 ExtractData 〈 平 均 用 时 为 16.15 秒 ) 。 


Action 国 Time 加 
|FetchData 2.4678642 

FetchData 0.1249552 | 
ESEO E 
IFetchData 0.0468591 | 
eee an 
FetchData 1.999296 | 
NA | 
ExtractData 22.0865087 | 
上 
‘ComputeData 3.139579 | 
i 
‘ComputeData 2.1400374 


图 6-9 包含 操作 和 用 时 的 Excel 数 据 表 (局 部 ) 
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图 6-10 反映 操作 平均 用 时 的 透视 图 


为 了 进一步 了 解 情况 ， 他 又 在 透视 图 中 加 入 各 个 操作 的 最 长 用 时 ， 获 得 
如 图 6-11 所 示 的 结果 。 这 时 ， 他 惊讶 地 发 现 ExtractData 的 最 长 用 时 达到 
432.32 秒 ， 是 平均 用 时 的 20 多 倍 。 于 是 ， 他 生成 ExtractData 各 次 用 时 的 
散 点 图 (如 图 6-12 所 示 ) 。 由 该 图 可 知 ， 测 斌 过程 执行 ExtractData 达 
4000 多 次 ， 访 操作 的 用 时 大 多 小 于 50 秒 ， 只 有 一 次 超 乎 寻常 地 达到 


432.32 秒 。 该 图 不 但 很 好 地 反映 了 ExtractData 的 用 时 情况 ， 还 建议 测试 
人 员 应 该 调查 那 次 超 长 的 用 时 ， 发 掘 它 背 后 隐藏 的 问题 。 
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图 6-11 操作 的 平均 用 时 和 最 长 用 时 
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图 6-12 ExtractData 用 时 的 散 点 图 
回顾 以 上 测试 开发 与 分 析 过 程 ， 不 难 获 得 以 下 经 验 。 


。 如 末 测 试 代码 用 清晰 的 格式 记录 测试 执行 的 信息 ， 测 试 日 志 将 为 成 
为 后 续 分 析 的 重要 数据 源 。 


。 人 可 以 编写 短小 的 脚本 来 提取 值得 分 析 
和 数据 。 


电子 表格 软件 是 方便 的 数据 可 视 化 工具 。 利 用 它 ， 测 试 人 员 无 需 编 
写 代 码 ， 就 可 以 生成 多 种 类 型 的 图 表 。 


电子 表格 软件 也 是 探索 数据 、 挖 掘 知识 的 工具 。 测 试 人 员 根 据 己 有 
的 图 表 来 提出 疑问 ， 然 后 设计 出 新 的 图 表 来 提供 答案 。 这 让 测试 人 
员 从 多 个 角度 考察 数据 ， 从 而 建立 对 产品 特性 的 完整 理解 。 


。 测试 开发 可 以 借助 多 个 工具 ， 通 过 组 合 它们 的 长 处 来 快速 完成 测试 
任务 。 


案例 4: 用 IronPython 分 析 系 统 负载 


我 曾经 测试 过 一 个 作业 处 理 系统 ， 它 的 任务 是 计算 用 户 每 天 提交 的 作 
业 。 为 了 避免 当天 的 作业 积压 到 第 三 天 ， 项 目 团 队 利 用 计算 机 集群 搭建 
了 6 条 作业 流水 线 ， 使 该 系统 能 够 同时 人 处理 6 个 作业 。 为 了 分 析 产 品 环境 
和 测试 环境 中 系统 的 性 能 ， 我 用 IronPythom? 编写 了 一 个 脚本 perf.py 来 绘 
a 该 脚本 的 运行 步骤 与 案例 3 的 数据 处 理 流程 
很 相似 。 























?IronPython 是 Python 语言 在 .NET 平 台 上 的 实现 ， 主 页 : http:Wironpython.codeplex.com 。 


1. 提取 数据 : perf.py 从 系统 日 志 中 分 析出 每 个 作业 的 类 型 、 开 始 时 间 和 
结束 时 间 。 该 日 志 可 能 来 目 产 品 环境 ， 也 可 能 来 目 性 能 测试 环境 。 


2. 处 理 数据 : perf.py 的 目标 是 在 一 个 窗口 中 绘制 出 作业 的 运行 情况 。 为 
此 ， 它 将 窗口 视 为 一 个 画布 ， 将 6 条 流水 线 视 为 画布 上 等 高 的 6 行 ， 将 一 
个 作业 视 为 东 行 中 的 一 个 窍 形 。 它 根据 作业 开始 时 间 和 结束 时 间 ， 计 算 
出 对 应 矩形 的 长 度 、 宽 度 和 左上 角 的 坐标 。 











3. 可 视 化 数据 : perf.py 根 据 矩 形 的 长 度 、 宽 度 和 左上 角 的 左边 ， 在 窗 
Ferri AA I" 。 图 6-13 展 示 了 最 终 的 绘制 结果 。 图 的 横 轴 对 应 
着 时 间 ， 纵 轴 对 应 着 流水 线 ， 每 一 个 矩形 对 应 一 个 作业 ， 和 矩形 越 宽 说 明 
作业 处 理 时 间 越 长 ， 相 同 颜色 的 作业 属于 同一 种 作业 类 型 。 


10 该 脚本 调用 的 绘图 API 是 WPF (Windows Presentation Foundation), ¥ 
页 : http://msdn.microsoft.com/en-us/library/ms754130.aspx 。 








图 6-13 用 图 形 来 展示 系统 的 负载 


根据 图 6-13， 我 可 以 直观 地 分 析 数 据 ， 了 解 在 所 分 析 的 时 段 内 ， 系 统 完 
成 了 哪些 作业 ， 何 种 作业 用 时 最 长 ， 何 种 作业 目 数目 最 多 ， 哪 些 作业 在 
并 发 执行 ， 哪 些 作 业 在 串 行 执行 ， 哪 些 时 段 系统 繁忙 ， 哪 些 时 段 系统 衬 
有 内。 基于 这 些 信息 ， 我 可 以 理解 产品 环境 的 作业 运行 特点 ， 设 计 更 真实 
的 性 能 测试 方案 ， 还 可 以 分 析出 系统 的 性 能 短 贷 ， 发 现 值得 性 能 优化 的 
作业 类 型 。 此 外 ，perf.py 还 可 以 分 析 性 能 测 斌 环境， 帮助 我 发 现 性 能 测 
试 的 不 足 ， 进 而 改进 测试 方案 ， 以 提供 更 接近 产品 环境 的 工作 负载 。 
在 .NET 程 序 库 和 我 日 党 积累 的 程序 库 帮助 下 ，perf.py 仪 用 300 余 行 束 完 
成 了 提取 数据 、 处 理 数据 、 可 视 化 数据 的 任务 。 代 码 清单 6-9 摘 录 了 脚 
本 的 核心 逻辑 。 由 这 上 段 代 码 ， 不 难看 出 IronPython 的 一 些 优点 。 


。 Python 语言 简洁 清晰 ， 表 达 力 强 ， 能 用 比 主流 静态 语言 《如 Java、 


C# 等 ) 更 短 的 程序 完成 计算 任务 。 


e IronPython 可 以 直接 调用 包括 WPF 在 内 的 .NET 程 序 库 ， 这 降低 了 数 
据 可 视 化 的 工作 量 。 此 外 ，IronPython 还 可 以 调用 CPython 程 序 库 ， 
并 通过 .NET 互 操作 技术 调用 COM 对 象 和 Win32 API。 这 些 都 显著 提 
高 了 开发 效率 。 


代码 清单 6-9 “计算 窍 形 位 置 和 绘制 矩形 的 核心 代码 





# 计算 矩形 位 置 的 类 
class ArrangeRectangle: 
F Sete 





# 将 矩形 (作业 ) 放 入 恰当 的 行 〈 流 水 线 ) 
def compute_position(self): 
rows = [[] for i in range(pipeline_count) ] 
for r in self.rectangles: 
index = self.get_row_index(rows, r) 
rows [index] .append(r) 
r.top = index * (self.row_heigth + row_gap) 








# 寻找 可 以 容纳 矩形 的 行 
def get row index(self, rows, rectangle): 
for index, row in enumerate(rows): 
if self.has_space(row, rectangle): 
return index 
rows .append([]) 
return len(rows) - 1 


# 判断 行 row 能 否 容纳 矩形 rectangle 
def has_space(self, row, rectangle): 
for r in row: 
if (self.is_conflict(r, rectangle) 
or self.is_conflict(rectangle, r)): 
return False 
return True 





# 判断 两 个 矩形 (rx 和 ry) 的 位 置 是 否 冲突 
def is conflict(self, rx, ry): 
if ry.start <= rx.start < ry.end: 
return True 
elif ry.start <= rx.start and rx.end <= ry.end: 
return True 
else: 
return False 





# 绘制 矩形 的 类 
class DrawRectangle: 
P vee 





# 绘制 所 有 的 和 矩形， 并 将 它们 加 入 画布 
def add rectangleangles(self, rectangles): 
c = self.canvas 
for r in rectangles: 
wr = self.build_wpf_rectangle(r) 
self.add(wr, r.left, r.top) 





# 绘制 一 个 矩形 
def build_wpf_rectangle(self, rectangle): 

wr = wpf.Rectangle() 

wr.Width = rectangle.width 

wr.Height = rectangle.height 

wr.Fill = self.get_color(rectangle.type) 





tt = wpf.ToolTip() 
tt.Content = rectangle.text 
wr.ToolTip = tt 

return wr 





动态 语言 的 另 一 个 优势 是 部 署 和 修改 方便 。 因 为 我 所 使 用 的 测试 计算 机 
都 安装 了 .NETFramework， 上 所 以 我 只 需要 复制 IonPython 解 释 器 〈 大 约 





4MB) 和 几 个 脚本 文件 残 完成 了 应 用 部 署 。 这 方便 我 在 不 同 的 环境 〈 预 
发 布 环 境 、 集 成 测试 环境 、 性 能 测试 环境 、 功 能 测试 环境 等 ) 下 运行 脚 
本 ， 获 得 系统 的 性 能 信息 。 在 数据 分 析 过 程 中 ， 我 可 能 会 产生 一 些 新 的 
数据 可 视 化 想法 。 这 时 ， 我 可 以 用 文本 编辑 器 修改 脚本 ， 然 后 运行 脚本 
来 获得 直观 的 反馈 ， 从 而 激发 出 更 多 的 数据 分 析 思 路 。 因 为 许多 测试 环 
卉 不 包含 大 型 的 开发 工具 ， 所 以 它们 不 支持 主流 静态 语言 的 快速 开 肥 。 
动态 语言 无 需 纺 译 、 立 即 可 用 的 特点 让 我 可 以 灵活 快速 地 修改 脚本 ， 以 
满足 随时 浮现 的 测试 需求 。 

由 本 节 的 讨论 可 知 ， 测 试 任务 中 存在 许多 运用 程序 来 提高 工作 效率 的 机 
会 。 测 试 人 员 需 要 抓 住 这 些 机 会 ， 纤 合 运用 多 种 开发 技术 来 构建 不 同类 
型 的 测试 工具 。 














6.4 ”大 规模 目 动 化 测试 


大 规模 自动 化 测试 high volume automated testing, HiVAT) 是 一 种 测 
试 策略 ， 通 过 自动 地 执行 海量 的 测试 用 例 ， 来 强力 检测 产品 缺陷 

[Kaner13]。 随 着 硬件 性 能 的 提高 和 集群 计算 技术 的 发 展 ，HiVAT 已 成 为 
一 种 威力 巨大 的 上 自动 化 测试 策略 。 本 节 讨 论 它 的 基本 概念 和 设计 因素 。 


6.4.1 基本 概念 


许多 常见 测试 技术 的 出 发 点 是 获得 数量 较 少 、 有 代表 性 的 测试 用 例 ， 通 
过 少量 的 典型 采样 来 评估 整个 测试 空间 。 例 如 等 价 类 划分 将 测试 输入 划 
分 为 右 干 个 等 价 类 ， 从 中 选择 测试 用 例 。 又 例如 组 合 测 试 根据 测试 模 
型 ， 生 成 符合 组 合 履 盖 标 准 的 最 小 测试 用 例 集 。 


HiVAT 的 战术 恰恰 与 这 些 技术 相反 。 它 所 运行 的 每 一 个 测试 都 是 平凡 
的 ， 但 是 海量 的 测试 用 例 密集 地 禾 亲 了 测试 空间 ， 能 够 发 现 精 心 构造 的 
小 规模 测试 用 例 集 所 错过 的 缺陷 。 图 6-14 对 比 了 这 两 种 测试 策略 ， 其 中 
每 一 个 点 都 是 一 个 测试 用 例 ， 包 含 点 的 方形 区 域 是 测试 空间 。 左 侧 的 测 
试 技术 生成 少数 的 测试 用 例 ， 对 测试 空间 的 采样 较 稀 疏 ; 右 侧 的 测试 技 
术 则 产生 大 量 的 测试 用 例 ， 对 测试 空间 的 采样 较 密 集 。 

















基于 最 佳 采 样 的 测试 技术 组 合 测 试 等 





基于 大 规模 采样 的 测试 技术 (HiVAT) 
图 6-14 基于 不 同 采 样 策略 的 测试 技术 


HiVAT 常 用 于 测试 复杂 的 功能 、 流 程 或 产品 。 此 时， 小 规模 的 测试 用 例 
集 不 能 提供 足够 的 测 斌 信心。 测试 人 员 需 要 借助 计算 机 的 能 力 来 运行 大 
规模 的 测试 ， 以 发 现 隐蔽 的 错误 。 以 下 是 一 些 HiVAT 的 典型 案例 。 


。 5.3.30 9t 24 J Harry Robinson 测 试 地 图 导航 的 方法 。 测 试 程序 利 
用 美国 所 有 邮政 编码 的 两 两 组 合作 为 测试 输入 《大 约 十 亿 条 测试 用 
例 ) ， 用 一 组 约束 规则 来 检查 所 获得 的 导航 路 线 集 。 如 有 果 规 则 检查 
eC eas 测试 程序 会 将 该 案例 报告 给 Harry， 请 他 做 进 
一 步 的 分 析 。 








Mozilla 项 目 小 组 需要 检查 Firefox 在 加 载 页 面 时 是 否 出 现 内 存 泄 
di. Wr E fit Ac RE Ae Boe ST 。 他 们 的 测试 策略 是 从 alexa.com 
获得 最 流行 的 一 百 万 个 URL， 用 它们 来 检测 Firefox 的 健壮 性 
[Johnson10]。 在 测试 环境 中 ， 测 试 程序 局 动 指 定 版 本 的 Firefox， 令 
它 打开 一 个 URL， 然 后 加 载 Firefox 的 一 个 测试 插件 ， 该 插件 会 遍历 
页 面 上 的 链接 ， 并 执行 一 组 检查 。 在 打开 URL、 裔 历 链 接 和 执行 检 
碍 的 过 程 中 ， 测 试 程 序 会 详细 记录 所 发 现 的 问题 ， 并 保存 导致 问题 
的 页 面 。 测 试 一 百 万 个 URL 需 要 一 个 月 左右 的 时 间 。 为 了 加 快 测试 
反馈 的 速度 ，Mozilla 小 组 还 构建 了 一 个 包含 一 干 条 URL 的 测试 集 
合 ， 用 于 每 日 测试 。 


。 模糊 测试 是 一 种 修改 输入 数据 来 暴露 软件 缺陷 的 方法 。 如 果 某 于 
产品 需要 读 取 复杂 的 文档 ， 测 试 小 组 可 以 使 用 文件 模糊 器 ， 对 原始 
文档 进行 随机 修改 ， 生 成 大 量 的 模糊 文档 。 然 后 ， 模 糊 测试 框架 启 
动产 品 ， 令 它 读 取 这 批 被 算 改 的 文档 ， 并 严密 监控 可 能 的 异常 情 
况 。 在 测试 结束 后 ， 测 试 人 员 分 析 测 斌 日 志 中 记录 的 错误 ， 以 识别 
安全 缺陷 。 模 糊 测 试 是 一 种 暴力 测试 方法 ， 一 轮 模糊 测试 会 使 用 数 
万 个 其 至 更 多 的 模糊 文件 。 如 果 运 用 得 当 ， 模 糊 测 试 可 以 发 现 许多 
手工 测试 或 简单 的 目 动 化 测试 无 法 发 现 的 问题 ， 这 对 于 提高 软件 的 
安全 性 极 具 价值 。 例 如 Microsoft Office 团 队 在 开发 Office 2013 时 ， 
通过 模糊 测试 发 现 并 修改 了 2100 多 个 缺陷 [Gallagher12]。 


猴子 测试 是 利用 猴子 程序 来 随机 地 测试 产品 。 猴 子 程序 是 一 个 不 
知 疲倦 的 测试 程序 ， 筷 随机 地 从 动作 列表 中 选择 一 个 动作 来 操作 产 
品 ， 并 监视 产品 的 状态 和 行为 ， 记 录 所 发 现 的 问题 。 猴 子 程序 会 连 
续 运 行 整 晚 或 几 天 ， 如 果 产 品 骨 尝 或 停 湾 ， 它 会 重 局 产品 以 继续 测 
试 。 对 于 简单 的 猴子 程序 ， 动 作 列 表 是 一 组 键盘 、 鼠 标 、 触 控 命 
令 ， 它 会 纯粹 地 随机 选择 命令 ， 而 不 考虑 产品 当前 的 状态 。 这 类 猴 
子 实现 简 单 ， 可 以 快速 投入 测试 ， 但 是 只 能 发 现 程 序 朋 涝 、 程 友 停 
注 、 资 源 泄漏 等 第 见 错误 。 对 于 智能 的 猴子 程序 ， 其 动作 列表 是 一 
组 业务 操作 (有 时 是 简单 的 功能 测试 )， 它 会 根据 产品 的 状态 来 选 
择业 务 操作 ， 并 检查 操作 结束 后 软件 的 状态 是 人 否 正 确 。 智 能 的 猴子 
拥有 一 些 产 品 的 知识 ， 所 以 它 的 命令 和 检查 更 有 针对 性 ， 不 但 能 够 
发 现 常 见 错误 ， 还 可 以 挖掘 出 产品 特有 的 缺陷 。 


HiVAT 拥 有 悠久 的 历史 ，Cem Kaner 在 1980 年 就 发 现 了 一 些 测试 团队 运 
行 大 量 测 试用 例 来 探测 复杂 软件 的 深层 次 缺陷 。 近 年 来 ， 随 着 软 人 硬件 技 
术 的 发 展 ，HiVAT 的 有 效 性 和 重要 性 与 日 俱 增 。 第 一 ， 软 件 产品 越 来 越 
复杂 ， 少 量 的 测试 用 例 不 能 提供 足够 的 测试 履 新 ， 测 试 人 员 需 要 更 好 的 
办 法 来 覆盖 产品 的 代码 和 状态 。 第 二 ， 计 算 机 硬件 的 价格 在 持续 下 降 ， 
性 能 在 稳步 提升 ， 这 为 运行 大 批量 的 测试 用 例 提 供 了 硬件 基础 。 第 三 ， 
虚拟 化 技术 让 一 人 台 物 理 计算 机 运行 多 台 虚 拟 计 算 机 ， 这 使 得 项 目 团 队 能 
够 更 充分 地 利用 空闲 计算 资源 。 第 四 ， 云 计算 技术 让 测试 人 员 可 以 用 多 
a CEM) 计算 机 同时 运行 海量 的 测试 用 例 ， 并 汇总 测试 结果 ， 这 极 大 
地 提高 了 测试 运行 的 速度 。 例 如 ，Harry Robinson 在 测试 地 图 导航 时 运 
行 了 上 和 亿 条 测试 ， 这 在 以 往 的 测试 环境 中 是 不 可 想象 的 。 但 是 ， 利 用 云 
计算 技术 ， 他 可 以 使 用 上 干 台 计算 机 同时 执行 测试 ， 能 够 在 几 天 内 完成 
数量 如 此 庞大 的 测试 。 
































可 见 ， 新 的 测试 挑战 和 测试 平台 要 求 测试 人 员 重 新 思考 自动 化 测试 的 使 
命 ， 用 创新 思维 去 充分 利用 计算 资源 ， 以 提出 更 具 威 力 的 测试 策略 。 测 
试 人 员 需 要 思考 : 如 果 我 拥有 10 台 计算 机 来 运行 测试 用 例 ， 我 应 该 设计 
何 种 自动 化 测试 ?如 果 有 100 台 计算 机 ， 又 怎么 设计 ?如 果 有 1000 台 计 
算 机 ， 又 如 何 设计 ? 这 些 问 题 看 似 有 些 遥 远 ， 其 实 是 很 多 测试 人 员 需 要 
考虑 的 真实 情况 。 目 前 ， 许 多 测试 小 组 拥有 测试 实验 室 ， 一 般配 有 几 十 
台 计 算 机 ， 某 些 项 目的 测试 环境 甚至 拥有 上 千 台 计算 机 。 在 很 多 时 候 ， 
这 些 计算 机 并 没有 满 负 荷 运转 ， 许 多 计算 资源 都 被 闲置 。 测 试 人 员 应 该 
考虑 如 何 充分 利用 这 些 空闲 资源 ， 从 而 大 幅度 提高 测试 的 广度 和 深度 。 





6.4.2 测试 设计 


HiVAT 有 多 种 实施 方式 ， 也 存在 大 量 创新 空间 ， 然 而 其 基本 流程 具备 一 
定 的 模式 。 图 6-15 是 利用 多 台 计 算 机 进行 HiVAT 的 典型 工作 方式 ， 其 流 
程 是 将 测试 任务 分 发 给 多 台 计 算 机 ， 然 后 汇总 来 自 所 有 计算 机 的 测试 结 
果 。 以 下 是 基本 步骤 的 描述 并 。 


U 对 于 在 一 台 计 算 机 上 进行 的 HiVAT， 步 又 (2) 和 步骤 (4) 可 以 省 略 。 




















1. 测试 人 员 使 用 工具 生成 大 量 的 测试 用 例 。 


2. 根据 可 用 计算 机 的 数量 ， 测 试 控制 服务 器 把 汕 试 用 例 划 分 为 厨 干 组 ， 
将 它们 分 配给 测试 执行 计算 机 。 


3. 在 测试 执行 计算 机 上 ， 测 试 程序 运行 测试 用 例 ， 并 记录 测试 日 志 。 
4. 测试 控制 服务 器 汇 忆 来 自 各 台 计 算 机 的 测试 结果 ， 将 它们 保存 到 测试 


结果 仓库 中 。 


5. 测试 人 员 调 碍 训 试 所 发 现 的 问题 ， 并 提交 缺陷 报告 。 
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图 6-15 用 多 台 计 算 机 执行 HiVAT 的 一 种 架构 


因为 HiVAT 会 运行 海量 的 测试 用 例 ， 测 试 过 程 会 面临 一 些 特殊 的 挑战 ， 
测试 人 员 需 要 根据 产品 的 特征 和 所 依赖 的 自动 化 技术 做 出 恰当 的 设计 。 
本 节 针 对 HiVAT 的 特点 ， 讨 论 其 设计 与 实现 过 程 中 需要 重点 考虑 的 问 
题 。 


问题 1: 如 何 生成 大 量 的 测试 输入 数据 

HiVAT 的 威力 来 自 于 执行 海量 的 测试 用 例 ， 测 试 输入 数据 的 差异 性 和 代 
表 性 将 极 大 地 影响 测试 效果 。 优 质 的 测试 输入 使 投入 的 计算 资源 获得 元 
分 的 回报 ， 不 民 的 测试 输入 则 浪 颖 了 庞大 的 计算 资源 和 漫长 的 测试 时 
间 。 以 下 是 一 些 构建 测试 输入 数据 的 常见 方法 。 


。 穷 举 输入 域 的 所 有 取 值 。 例 如 ，Harry Robinson 穷 举 了 美国 邮政 编 
码 的 两 两 组 合 ， 获 得 地 图 导航 的 测试 输入 数据 。 又 例如 ， 测 试 人 员 











在 测试 拥有 多 个 输入 变量 的 模块 时 ， 不 使 用 两 因素 测试 用 例 集 ， 而 
使 用 全 组 合 测试 用 例 集 。 


尽 可 能 多 地 收集 真实 的 业务 数据 。 例 如 ，Mozilla 项 目 小 组 从 
alexa.com 获 得 了 最 流行 的 一 百 万 个 URL， 用 来 测试 Firefox 的 页 面 加 
载 。 如 果 测 试 对 象 是 产品 的 文档 读 取 功 能 ， 测 试 人 员 可 以 从 各 种 途 
径 收 集 不 同 用 户 的 真实 文档 。 如 果 测 试 对 象 是 Web 应用， 测试 人 员 
可 以 分 析 产 品 日 志 ， 获 得 一 段 时 间 内 用 户 群 的 操作 和 输入 数据 ， 从 
而 构建 出 测试 输入 集 。 


随机 地 产生 测试 数据 。 例 如 ， 模 糊 测 试 调用 文件 模糊 器 随机 地 修 
改 原始 文件 ， 生 成 一 批 测试 文件 。 因 为 对 文件 的 修改 方式 是 无 穷尽 
的 ， 穷 举 法 在 此 处 不 适用 。 大 规模 随机 修改 可 以 使 产生 的 文件 较 均 
匀 地 乾 兰 输入 空间 ， 提 高 发 现 缺 陷 的 概率 。 在 数学 上 ， 数 量 庞大 的 
人 
I 可 能 性 。 


用 启发 式 规 则 指导 随机 采样 。 纯 粹 的 随机 采样 不 考虑 产品 的 业务 
知识 ， 昌 然 确保 了 数学 性 质 上 的 “公平 ”与 “均匀 ”， 但 是 没有 根据 产 
品 的 特点 在 重点 区 域 进行 密集 测试 。 为 了 提高 测试 效率 ， 测 试 人 员 
可 以 用 一 些 忆 用 式 规则 来 指导 测试 数据 生成 。 例 如 ， 高 级 的 文件 模 
糊 器 会 读 取 文 档 格式 的 规格 说 明 ， 以 建议 文档 格式 的 模型 ， 然 后 根 
据 该 模型 来 修改 文件 。 其 修改 过 程 依旧 具备 很 强 的 随机 性 ， 但 是 可 
以 生成 更 有 攻击 性 的 一 批文 件 。 又 例如 ， 测 试 人 员 根 据 业 务 知识 将 
输入 域 划分 为 天干 个 区 域 ， 分 别 赋 予 不 同 的 权重 。 测 试 数据 生成 器 
会 在 高 权重 的 区 域 多 采样 ， 在 低 权 重 的 区 域 少 采 样 ， 以 便 重 点 测试 
高 权重 的 区 域 。 


为 每 一 条 测试 数据 生成 唯一 的 编写 。 在 测试 过 程 中 ， 测 试 程序 在 
测试 日 志 中 记录 测试 数据 编号 和 对 应 的 测试 结果 。 当 测试 人 员 分 析 
测试 日 志 时 ， 他 可 以 根据 编号 找 出 测试 数据 ， 以 复 现 相应 的 测试 结 
果 。 这 对 于 测试 数据 和 测试 结果 的 追踪 管理 尤其 重要 。 


以 上 测试 数据 生成 方法 并 不 相互 排斥 。 当 测试 复杂 产品 时 ， 测 试 人 员 和 志 
要 综合 运用 它们 ， 以 友 挥 各 目的 优点 。 例 如 ,测试 人 员 收 集 一 大 批 用 户 
文档 来 测试 产品 的 文档 读 写 功 能 功能 性 测试 ) 。 然 后 ， 他 用 文件 模糊 
需 基 于 这 批 用 户 文档 生成 一 组 模糊 文件 ， 以 检查 文档 读 写 功能 是 人 否 存 在 
安全 缺陷 (安全 性 测试 ) 。 接 着 ， 他 针对 文档 中 一 个 特别 重要 的 字段 ， 


























配置 文件 模糊 器 去 生成 一 批文 档 ， 以 实现 对 该 字段 的 穷 举 测试 。 


HiVAT 往 往 会 生成 大 量 的 测试 输入 数据 ， 随 之 而 来 的 一 组 问题 是 ， 已 生 
成 的 测试 数据 是 人 否 已 经 足够 好 ? 是 否 需 要 生成 新 的 训 试 数据 ? 新 的 测试 
数据 需要 县 备 哪 综 新 的 特征 ? 对 于 非 穷 举 测 试 ， 这 些 问题 没有 标准 答 








通常 ， 测 试 人 员 可 以 从 两 个 角度 来 考察 测试 数据 集 的 质量 。 第 一 ， 测 试 
数据 集 应 该 很 好 地 歼 盖 了 业务 领域 。 例 如 ， 地 图 导航 测试 应 该 覆盖 了 所 
有 典型 的 出 发 地 和 目的 地 ， 页 面 加 载 测试 应 该 履 凋 了 大 部 分 用 户 可 能 访 
问 的 页 面 关 型 ， 模 糊 测 试 应 该 覆 间 了 文档 格式 的 所 有 字段 。 在 理想 情况 
下 ， 测 试 输入 应 该 具备 很 好 的 典型 性 和 差异 性 ， 既 能 履 盖 所 有 业务 数据 
类 型 ， 又 能 提供 足够 多 样 化 的 细节 。 第 二 ， 测 试 数 据 集 应 该 很 好 地 履 羡 
了 代码 实现 。 测 试 人 员 可 以 用 代码 缆 凋 率 、 状 态 轿 兰 率 等 方法 来 寻找 尚 
未 被 充分 测试 的 代码 ， 然 后 用 这 些 信息 来 指导 后 续 测试 数据 的 生成 。 


问题 2; 如 何 构建 测试 先知 ， 以 自动 地 发 现 产 品 缺 陷 


HiVAT 会 执行 大 量 的 测试 ， 手 工地 检查 所 有 的 测试 结果 是 不 现实 的 ， 因 
此 需要 测试 先知 来 自动 地 识别 缺陷 或 记录 值得 调查 的 问题 。 与 5.3 市 介 
绍 的 测试 先知 技术 相似 ， 一 致 性 检查 和 规则 检查 是 上 自动 化 测试 先知 的 常 
见 构造 方法 。 以 下 是 一 些 肖 见 集 略 。 


。 检 查 产品 和 参考 程序 的 一 致 性 。 例 如 ，Open Office Calc 是 一 款 电 
子 表格 软件 2 。 为 了 测试 它 的 公式 计算 ， 测 试 程序 将 一 组 包含 公式 
的 电子 表格 文档 作为 测试 输入 ， 让 Calc 打 开 这 批文 档 ， 并 获得 它 的 
公式 计算 结果 。 然 后 ， 测 试 程序 将 这 些 结果 与 Microsoft Excel 的 计 
算 结 果 进 行 比较 ， 识 别 出 不 一 致 的 结果 值 。 将 Excel 作 为 参考 程序 
简化 了 测试 开发 ， 让 测试 程序 可 以 立即 投入 应 用 。 虽 然 Excel 也 可 
能 存在 缺陷 ， 但 是 从 头 实 现 相同 质量 的 公式 计算 程序 可 能 是 测试 小 
组 无 法 承担 的 任务 。 


检查 被 测 版 本 和 已 发 布 版 本 的 一 致 性 。 例 如 ， 某 绘图 软件 需要 文 
持 已 发 布 版 本 所 制作 的 文档 。 为 此 ， 测 试 程序 将 一 组 真实 的 用 户 文 
档 作为 测试 输入 ， 让 被 测 版 本 打开 这 批文 档 ， 并 通过 屏 笑 截图 来 获 
取 它 所 绘制 出 的 图 形 。 然 后 ， 测 试 程序 将 被 测 版 本 的 截图 与 已 发 布 
版 本 的 截图 进行 比较 ， 识 别 出 不 一 致 的 绘制 结果 。 


























。 检查 产品 上 自身 的 行为 是 否 一 臻 PIU, Harry Robinson 用 一 组 规则 
来 检查 谷歌 地 图 给 出 的 导航 路 线 。 其 中 一 条 规则 是 “从 A 到 B 的 导航 
路 线 的 长 度 与 从 B 到 A 的 导航 路 线 的 长 度 没 有 显著 差别 *”。 访 规则 要 
求 导航 计算 在 两 个 方 同 上 保持 一 致 ， 即 检查 产品 的 逆反 运算 是 否 等 


价 。 








。 用 一 组 约束 规则 来 检查 产品 的 结果 。 例 如 ，Mozilla 项 目 小 组 测试 
Firefox 页 面 加 载 时 ， 他 们 实现 的 测试 程序 会 对 Firefox 做 一 系列 检 
查 ， 包 括 检查 Firefox 是 否 泄漏 了 内 存 ， 检 查 Firefox 是 否 触 发 了 断 
言 ， 检 查 Firefox 在 加 载 URL 和 页 面 链接 时 是 售 朋 涡 等 。 这 些 检 查 可 
以 视 为 一 组 规则 ， 虽 然 不 能 发 现 所 有 缺陷 ， 但 是 对 于 特定 类 型 的 问 
题 有 很 强 的 检测 能 


。 基于 测试 模型 的 检查 。 有 些 测试 程序 建立 了 产品 的 状态 机 模型 ， 
并 用 它 检查 产品 的 行为 。 在 测试 时 ， 测 试 程序 获取 产品 的 当前 状 
态 ， 随 机 地 选择 一 条 命令 发 送 给 产品 ， 并 检查 它 的 反应 。 如 果 命 令 
可 以 触发 符合 状态 机 模型 的 变迁 ， 产 品 应 该 迁移 到 目标 状态 ， 并 执 
行 相应 的 动作 。 如 果 命 令 不 能 触及 合法 的 变迁 ， 产 品 应 该 拒绝 执 
行 。 利 用 状态 机 模型 ， 测 试 程序 可 以 用 漫长 的 命令 序列 来 检查 软件 
的 行为 ， 并 发 现 一 些 长 期 执行 才 会 暴露 的 问题 。 














i http://www.openoffice.org/product/calc.html 。 





在 测试 实践 中 ， 测 试 程序 往往 会 实现 多 种 测试 先知 ， 从 不 同 的 角度 来 识 
别 缺 陷 。 例 如 ， 测 试 程序 可 以 用 状态 机 模型 来 驱动 产品 的 状态 变迁 ， 并 
记录 异 稼 的 变迁 。 与 此 同时 ， 它 会 检查 产品 是 否 存在 资源 泄露 、 断 言 触 
发 和 程序 骨 尝 等 问题 ， 并 用 参考 程序 来 检验 产品 的 计算 结果 。 只 要 计算 
资源 和 测试 时 间 人 允许 ， 多 样 化 的 测试 先知 将 发 现 更 多 的 问题 ， 有 助 于 提 
高 HiVAT 的 产 出 。 


问题 3; 如 何 监控 测试 执行 

因为 HiVAT 运 行 时 间 漫 长 ， 会 触发 一 些 难以 预料 的 产品 错误 ， 测 试 平台 
需要 一 些 功 能 来 保证 大 批量 的 测试 可 以 执行 完毕 。 以 下 是 一 些 营 见 的 测 
试 设计 。 


o 用 独立 的 监控 进程 监视 测试 程序 和 被 测 产品 。 在 测试 过 程 中 ， 测 
试 程序 和 被 测 产品 都 可 能 出 现 故 障 ， 陷 入 停 沛 状态 或 友 生 骨 溃 。 为 














了 证 测试 可 以 持续 运转 ， 测 试 人 员 可 以 实现 一 个 简单 的 监控 进程 ， 
用 它 观察 测试 程序 和 产品 的 状态 。 如 果 发 现 某 个 进程 陷入 停滞 ， 它 
会 终止 该 进程 ， 再 重新 局 动 它 。 如 果 发 现 东 个 进程 朋 涡 ， 它 会 收集 
相应 的 内 存 转 储 文件 ， 并 重 局 该 进程 。 


测试 程序 记录 测试 进度 ， 以 便 重 新 局 动 后 继续 运行 尚未 执行 的 测 
试用 例 。 例 如 ， 测 试 程 序 获得 了 1000 条 测试 用 例 ， 每 条 测试 用 例 
有 唯一 的 编号 。 它 先 用 测试 日 志 记录 所 有 的 测 试用 例 ， 然 后 开始 
测试 。 在 测试 过 程 中 ， 它 执行 完 一 条 测试 用 例 ， 就 记录 该 测试 用 例 
的 编号 。 如 果 测 试 程序 在 执行 第 401 个 测试 用 例 时 发 生 故 障 ， 被 监 
控 进 程 终 止 。 重 新 启动 后 ， 测 试 程序 会 分 析 测 斌 日志， 然后 从 第 
402 个 测试 用 例 开始 执行 。 这 避免 了 重复 执行 测试 用 例 的 开销 ， 也 
保证 测试 程序 不 会 遗漏 测试 用 例 。 


测试 程序 主动 回 测 试 控制 服务 占 申 请 测试 用 例 ， 即 使 用 拉 模 式 来 
分 配 测试 用 例 。 在 使 用 多 台 计 算 机 执行 测试 时 ， 有 一 些 计算 机 的 
性 能 比较 高， 能 够 更 快 地 完成 测试 用 例 。 拉 模式 允许 这 些 计算 机 在 
执行 完 一 批 测试 用 例 之 后 ， 可 以 立即 获得 新 的 一 批 测试 用 例 ， 而 不 
必 等 待 哪些 速度 较 慢 的 计算 机 。 这 有 助 于 提高 计算 机 集群 的 整体 性 
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当 茶 全 计算 机 发 生 故 隐 时 ， 测 试 控 制服 务 器 应 该 记录 错误 ， 并 将 
分 配给 它 的 测试 用 例 集 转移 到 其 他 计算 机 。 因 为 软件 、 操 作 系 
统 、 便 件 都 可 能 发 生 故 障 ， 所 以 测试 执行 计算 机 集 止 运转 是 需要 考 
虑 因素 。 分 配 测试 用 例 的 控制 服务 絮 应 该 记录 哪些 计算 机 获得 了 哪 
些 测试 用 例 ， 并 周期 性 地 联系 测试 执行 计算 机 ， 以 获取 测试 进度 。 
当 东 合计 算 机 停止 啊 应 时 ， 服 务 器 应 该 将 它 疝 未 执行 的 测试 用 例 放 
回忆 测试 用 例 集 。 这 样 ， 当 其 他 计算 机 申请 测试 用 例 时 ， 这 些 测试 
用 例 可 以 被 再 次 分 配 。 


HiVAT 需 要 在 无 人 职守 的 情况 下 长 时 间 运 行 。 测 试 人 员 需 要 考虑 测试 平 
台 的 容错 性 和 健壮 性 ， 并 做 出 一 些 相 应 的 设计 。 紧 密 的 监控 和 恰当 的 故 
障 恢复 是 基本 的 考虑 点 。 

问题 4: 如 何 调查 大 量 的 测试 失败 


HiVAT 会 产生 大 量 的 测试 结果 。 单 纯 的 手工 调查 费时 费力 ， 让 测试 人 员 
成 为 测试 流程 的 瓶颈 。 而 且 调查 所 用 的 时 间 越 长 ， 训 试 人 员 越 容易 感到 























疫 惫 ， 越 可 能 漏 掉 一 些 产 品 缺陷 。 为 了 帮助 测试 人 员 高 效 地 评估 测试 结 
果 和 调查 失败 ， 训 试 平 人 台 需 要 提供 相应 的 目 动 化 文 持 。 以 下 是 一 些 负 见 
的 测试 设计 。 


。 测试 程序 应 该 记录 它 执行 的 所 有 测试 用 例 或 命令 ， 以 便 测 试 人 员 
重 现 缺陷 。 在 猴子 测试 等 长 时 间 运 行 的 随机 测试 中 ， 测 试 程序 应 
该 用 固定 的 格式 记录 所 有 发 给 产品 的 命令 。 测 试 人 员 可 以 根据 测试 
日 志 ， 手 动 执行 命令 序列 ， 也 可 以 用 工具 读 取 训 试 日 志 ， 来 重新 发 
人 
助 。 


一 旦 测试 程序 发 现 软件 错误 ， 它 应 该 尽 可 能 多 地 保存 产品 信息 和 
环境 信息 。 例 如 ， 测 试 程序 可 以 保存 骨 尝 软件 的 内 存 转 储 文件 ， 

并 在 测试 日 志 中 记录 该 转 储 文件 的 路 径 。 又 例如 ， 测 试 程序 发 现 导 
航路 线 有 误 时 ， 它 可 以 记录 起 点 和 终点 的 位 置信 息 《〈 邮 政 编码 ) ， 
并 保存 导航 路 线 的 网 页 截图 ， 帮 助 测试 人 员 立 即 了 解 失败 情况 。 又 
例如 ， 测 试 程序 发 现 浏览 坑 在 打开 茶 个 URL 时 毅 温 ， 它 除了 保存 内 
存 转 储 文件 ， 还 会 将 该 URL 保 存 为 离线 网 页 。 这 使 失败 调查 无 需 在 
网 络 传输 上 耗费 时 间 ， 也 避免 在 线 网 页 的 变化 使 得 缺陷 不 能 重 现 。 


用 多 台 计 算 机 执行 测试 时 ， 测 试 程序 应 该 将 测试 结果 提交 到 一 个 
中 心 币 把 。 这 让 测试 人 员 可 以 集中 审阅 和 管理 所 有 测试 结果 ， 避 
多 了 手工 收集 多 份 结果 的 开销 。 通 常 ， 中 心 节点 是 一 个 基于 数据 库 
的 Web 服 务 ， 测 试 程序 调用 它 的 接口 来 提交 测试 结果 。 该 服务 会 整 
理 测 试 结果 ， 并 将 它们 保存 在 数据 库 中 。 故 一 种 设计 是 编写 一 个 数 
据 收 集 程序 ， 它 扫描 所 有 的 测试 执行 计算 机 来 收集 测试 结果 ， 并 将 
整理 后 的 数据 保存 在 数据 库 中 。 


让 测试 人 员 可 以 通过 查询 命令 来 获取 特定 的 测试 结果 。 为 了 文 持 
测试 调查 ， 测 试 平 台 在 显示 测试 结果 时 需要 文 持 排序 、 过 小 、 分 组 
等 功能 。 将 测试 结果 保存 在 关系 型 数据 库 是 支持 此 需求 的 典型 设 

计 。 测 试 人 员 可 以 通过 SQL 仁 询 来 分 析 每 个 测试 失败 的 错误 消息 ， 

从 而 分 组 相似 的 失败 、 过 滤 已 知 的 失败 、 碍 询 某 个 失败 的 出 现 频率 
等 。 此 外 ， 数 据 库 能 够 保存 以 往 的 测试 结果 ， 这 方便 测试 人 员 比 较 
当前 版 本 和 历史 版 本 的 结果 ， 从 而 快速 友 现 新 的 失败 。 


恰 如 6.2.3 节 所 讨论 的 ， 测 试 人 员 应 该 开发 面向 调试 的 测试 代码 ， 该 实践 
在 HiVAT 中 更 加 重要 。 在 设计 之 初 ， 测 试 人 员 就 应 该 考虑 如 何 分 析 


























HiVAT 产 生 的 海量 测试 结果 ， 并 在 测试 生成 、 测 试 执行 、 测 试 报告 等 各 
个 环节 做 出 相应 的 设计 。 实 际 运 行 HiVAT 后 ， 测 试 人 员 会 发 现 测 试 调查 
面临 一 些 新 的 挑战 。 这 时 ， 他 雷 要 调整 设计 ， 使 HiVAT 的 调查 效率 随 着 
测试 迭代 而 逐步 提高 。 


6.5 小结 


本 章 讨 论 了 测试 开发 的 基本 分 类 ， 介 绍 了 一 些 自动 化 测试 和 计算 机 辅助 
测试 的 目标 、 设 计 、 实 现 和 经 验 。 


测试 开发 的 对 象 包括 自动 执行 的 测试 用 例 和 辅助 测试 活动 的 工具 。 


好 的 测试 开发 策略 的 4 个 特征 : 产品 相关 、 聚 焦 风 险 、 多 种 多 样 、 
讲求 实用 。 

测试 开发 也 是 一 种 软件 开发 ， 拥有 规划 、 设 计 、 实 现 、 运 维 等 活 
动 ， 需 要 项 目 管理 、 测 试 设计 、 代 码 实 现 等 技能 。 


目 动 化 测试 金字 塔 是 一 个 概念 模型 ， 描 述 了 目 动 化 测试 用 例 在 理想 
测试 人 员 应 该 通过 逐步 交付 有 价值 的 测试 用 例 来 达 
该 目标 。 


可 调试 性 是 测试 代码 的 基本 需求 ， 需 要 在 设计 和 实现 的 全 过 程 予 以 
重视 。 











单元 测试 和 系统 测试 的 测试 代码 具有 显著 差异 。 测 试 人 员 需 要 根据 
所 开发 的 代码 ， 选 用 恰当 的 设计 和 技术 。 


计算 机 辅助 测试 的 目标 是 人 尽 其 才 自由 发 挥 测试 人 员 的 智能 ) 和 
物 尽 其 用 (充分 利用 计算 机 的 性 能 〉。 
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成 其 他 技术 难以 达成 的 测试 目标 。 
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James Bach 是 语 境 驱动 测试 学 派 ! 的 莫 基 人 之 一 。 他 在 该 领域 进行 了 持 
续 地 研究 和 实践 ， 并 通过 课程 “快速 软件 测试 %” 将 研究 成 果 传 播 给 测试 
社区 。 在 他 的 知识 体系 中 ， 启 发 式 测 试 策略 模型 HTSM (参见 4.2.1 节 ) 
是 基础 性 的 概念 框架 ， 用 来 组 织 各 种 测试 相关 的 因素 和 技术 。 该 模型 将 
项 目 语 境 抽象 为 4 个 因素 : 产品 元 素 、 项 目 环境 、 质 量 标准 、 测 试 技 
术 ， 并 通过 产品 元 素 、 项 目 环境 和 质量 标准 来 驱动 测试 技术 。 





1 http://context-driven-testing.com/ 。 


2 http://www.satisfice.com/info_rst.shtml 。 


HTSM 提 醒 测 试 人 员 ， 软 件 测试 需要 综合 考虑 产品 元 素 、 项 目 环 境 、 质 
量 标准 和 测试 技术 。 所 谓 “ 优 务 的 测试 "并 不 是 使 用 最 前 沿 、 最 高 级 的 测 
试 技术 ， 而 是 根据 产品 和 项 目的 实际 情况 选择 恰当 的 测试 方法 。 为 了 制 
定 出 符合 项 目 语 境 的 测试 策略 ， 本 章 将 讨论 如 何 从 测试 视角 来 研究 产 

品 ， 下 一 章 将 讨论 如 何 研究 项 目 环境 。 本 章 的 主要 内 容 包 括 软 件 实现 分 
析 、 软 件 业 务 研究 和 背景 领域 研究 。 





7.1 静态 分 本 


静态 分 析 是 在 不 运行 软件 的 情况 下 ， 通 过 阅读 源 代码 来 研究 产品 的 活 
动 。 对 于 测试 人 员 而 言 ， 阅 读 代码 将 帮助 他 更 好 地 理解 产品 实现 和 代码 
变更 ， 以 产生 更 好 的 测试 想法 。 本 节 讨 论 静 态 分 析 在 测试 活动 中 的 常见 
应 用 ， 并 介绍 一 些 基 本 实践 方法 。” 


7.1.1 浏览 源 代 码 来 理解 产品 实现 


刚 接触 一 个 项 目 时 ， 测 试 人 员 可 以 浏览 产品 源 代码 来 掌握 其 基本 情况 。 
由 于 许多 项 目的 源 代码 在 十 万 行 以 上 ， 有 些 项 目 甚 至 达到 数 百 万 行 ， 所 
以 测试 人 员 仔 细 阅 读 所 有 代码 是 不 现实 的 。 合 理 的 策略 是 浏览 源 代码 

树 ， 了 解 源 代码 的 目录 结构 、 模 块 划分 、 代 码 分 布 等 基本 情况 ， 然 后 阅 
读 部 分 源 代码 来 领会 编码 规范 、 架 构 设 计 、 代 码 实现 等 拉 术 细 市 。 在 今 
后 的 工作 中 ， 测 试 人 员 可 以 根据 具体 的 测试 任务 再 去 阅读 相关 的 代码 。 


假设 ， 测 试 人 员 小 张 加 入 单元 测试 框架 NUnita 的 项 目 小 组 。 他 打算 花 半 
天 的 时 间 来 阅读 源 代码 ， 以 概览 产品 的 情况 。 首 先 ， 他 浏览 NUnit 的 源 
代码 树 来 熟悉 代码 组 织 。 基 本 方法 如 下 。 





3 http://nunit.org/ 。 
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目的 地 浏览 代码 会 浪费 大 量 的 时 间 ， 而 围绕 具体 目标 来 读 代 码 能 让 
阅读 者 更 有 效 地 利用 时 间 ， 并 获得 预期 的 成 果 。 不 过 ， 阅 读者 也 可 
以 暂时 偏离 预定 的 方向 ， 研 究 某 些 他 临时 产生 的 想法 ， 或 研读 一 些 
他 觉得 很 有 趣 的 代码 。 他 可 以 设 定 一 个 15 分 钟 的 时 间 盒 去 研究 这 些 
临时 目标 ， 当 时 间 耗 尽 ， 他 会 记录 研究 成 果 和 值得 深入 探索 的 问 
题 ， 然 后 回 到 原 定 目标 上 继续 阅读 。 这 样 进 入 一 个 主题 再 退出 的 策 
略 被 称 为 浸入 与 退出 ， 其 优点 是 经 过 几 轮 的 浸入 与 退出 ， 阅 读者 可 
以 渐渐 明了 产品 的 结构 和 模式 ， 并 形成 更 系统 的 研究 策略 
[Kaner01]. 


通过 目录 识别 模块 。 通 常 ， 一 个 目录 对 应 一 个 模块 ， 目 录 的 父子 


关系 表示 了 模块 间 的 隶属 关系 。 阅 读者 可 以 用 目录 名 推测 模块 的 大 
致 功能 ， 然 后 阅读 目录 中 的 几 个 源 文 件 来 了 解 更 多 的 信息 。 























通过 模块 了 解 产 品 的 组 成 结构 ， 知 晓 各 部 分 代码 的 功能 o ARI 
些 信息 有 助 于 评估 一 个 代码 变更 集 所 涉及 的 模块 、 所 影响 的 功能 。 


借助 搜索 引擎 来 了 解 相 关 技 术 。 如 果 在 阅读 过 程 中 遇 到 一 些 不 熟 
悉 的 技术 ， 阅 读者 可 以 用 搜索 引擎 来 获得 它们 的 资料 ， 并 通过 快速 
阅读 来 大 致 了 解 它 们 的 背景 。 


一 边 阅 读 ， 一 边 记 录 笔 记 。 阅 读 代 码 时 应 该 记录 所 发 现 的 重要 信 
恩 ， 否 则 大 脑 很 可 能 在 几 天 后 就 将 它们 中 二。 笔记 的 形式 可 以 多 种 
多 样 ， 清 单 、 表 格 、 流 程 图 、 信 手 涂 鸦 皆 可 ， 只 要 能 帮助 阅读 者 理 
解 代码 即 可 。 因 为 源 代码 已 经 承载 了 所 有 细节 ， 所 以 笔记 内 容 不 必 
退 求 完备 ， 只 需 记 录 阅 读者 抽象 出 的 要 点 即 可 。 

















经 过 一 段 时 间 的 阅读 ， 小 张 获 得 了 如 下 笔记 。 这 些 笔记 记录 了 NUnit 源 
代码 树 的 结构 (如 图 7-1 所 示 )〉 和 各 个 目录 的 主要 作用 。 


doc: HTML 格 式 的 文档 (主页 为 index.html) ， 内 容 面 向 NUnit 的 
使 用 者 。 


install : 一 组 Windows Installer XML (WiX) 格式 的 XML 文件 ， 定 
义 了 所 生成 的 Windows 安 装 文件 (MSI) 需要 包含 的 程序 集 。 


lib :NUnit 依赖 的 程序 集 ， 包 括 log4net.dll、Rhino.Mocks.dll 和 和 
NSubstitute.dll. 


nuget : 一 组 NuGet 格 式 的 XML 文件 ， 帮 助 Visual Studios 4+ NuGet 
将 NUnit 加 入 Visual Studio 项 目 。 


samples: 一 组 使 用 NUnit 的 样 例 代 码 ， 所 使 用 的 语言 包括 
C++/CLI, C#, FH, VB.NET. 


scripts: 一 组 文 持 NAnt 的 XML 文件 。 
sro: NUnit 的 源 代 码 和 测试 代码 。 
ClientUtilities : 一 批 NUnit 的 辅助 类 。 


ConsoleRunner : 运行 用 NUnit 编 号 的 单元 测试 的 控制 台 程 序 。 


GuiComponents : 基于 Windows Form 技 术 的 图 形 界面 组 件 ， 包 括 
C# 源 代码 和 资源 文件 。 


GuiException: 一 批 图 形 界 面 的 辅助 类 ， 用 于 显示 单元 测试 所 发 现 
的 错误 。 


GuiRunner : 运行 用 NUnit 编 写 的 单元 测试 的 图 形 界 面 程 序 。 


NUnitCore: NUnit 的 核心 接口 和 类 ， 包 括 TestFixture、 
TestMethod、Logger 等 。 


NUnitFramework : NUnit 的 框架 代码 ， 包 括 属 性 、 约 束 、 异 帝 
Ae 


NUnitMocks : 支持 虚拟 对 象 的 接口 和 类 。 


NUnitTestServer : ”NUnit 的 测试 服务 器 (nunit-agent.exe〉 的 代 
Ay, o 


PNUnit: NUnit 扩 展 PNUnit (Parallel NUnit) 的 代码 。 
ProjectEdit : NUnit 项 目 编辑 器 (nunit-editor.exe) 的 代码 。 
tests: 用 NUnit 编 写 的 NUnit 的 测试 用 例 。 


tools: 文 持 NUnit 开 发 的 一 组 工具 ， 包 括 编 译 工具 NAnt、 虚 拟 对 象 
程序 库 NSubstitue、 安 装 文件 生成 工具 WiX。 
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图 7-1 NUnit 的 源 代 码 树 和 代码 组 织 





由 于 小 张 希 望 尽快 了 解 NUnit 的 核心 代码 ， 所 以 他 标记 了 以 下 目录 ， 作 
为 深入 阅读 的 目标 。 


e samples: 阅读 测试 样 例 来 理解 如 何 使 用 NUnit。 

e ConsoleRunner: 阅读 控制 台 程 序 的 代码 来 理解 如 何 运 行 NUnit 的 测 
试用 例 。 控 制 台 程 序 比 图 形 界 面 程 序 简单 ， 有 助 于 更 快 地 理解 
NUnit 的 运作 机 制 。 

e NUnitCore: 阅读 NUnit 的 核心 代码 来 理解 基本 概念 和 实现 。 

e NUnitFramework: 阅读 框架 代码 来 理解 NUnit 如 何 组 织 测 试用 例 。 

在 一 览 全 局 并 标记 重点 之 后 ， 小 张 用 代码 清单 7-1 所 示 的 PowerShell 脚 本 


来 分 析 源 代码 树 。 该 脚本 分 析 当 前 目录 和 子 目录 下 所 有 C# 文 件 ， 并 输出 
文件 名 、 文 件 所 在 目录 和 文件 行 数 到 控制 台 。 小 张 将 输出 结果 重 定 疝 到 





文本 文件 ， 再 用 Microsoft Excel 打 开 该 文本 文件 ， 并 生成 如 图 7-2 所 示 的 
ae 该 表 提 供 了 所 有 源 代码 文件 的 行 数 ， 为 进一步 的 分 析 提 供 了 基 
fiti o 


代码 清单 7-1 ”统计 文件 行 数 的 PowerShell 脚 本 


$root = Get-Location 

"Folder tFile tLineCount" 

Get-ChildItem *.cs -Recurse | %{ 
$folderName = $_.DirectoryName.Substring($root.Path.Length) ; 
$lineCount = (Get-Content $_.FullName).Length 


"$folderName t${$ .Name} t$lineCount" 





A B C 
1 CGI M File | > Linecount ~ 
2 \ClientUtilities\tests\resources | TestResource.cs 17 
3 \ClientUtilities\tests AssemblyListTests.cs 119 
4 \ClientUtilities\tests AssemblyWatcherTests.cs 133 
5 |\ClientUtilities\tests CategoryManagerTest.cs 80 
6 |\ClientUtilities\tests CategoryParseTests.cs 144 
7 \\ClientUtilities\tests DomainManagertTests.cs 96 
8 |\ClientUtilities\tests EventDispatcherTests.cs 239 
9 \ClientUtilities\tests File WatcherTests.cs 130 
|10 \ClientUtilities\tests MemorySettingsStorageTests.cs 104 


图 7-2 ”NUnit 的 源 代 码 行 数 


代码 行 数 是 一 种 最 简单 的 代码 度量 ， 不 能 提供 丰富 的 语义 信息 ， 但 是 不 
失 为 很 好 的 分 析 切 入 点 。 第 一 ， 一 段 很 简单 的 脚本 融 可 以 统计 出 产 代 码 
的 行 数 ， 让 阅读 者 能 够 立即 了 解 代 码 的 情况 。 第 二 ， 任 何 度量 方法 都 只 
反映 特定 方面 的 信息 ， 代 码 行 数 简单 明了 ， 较 一 些 复杂 的 方法 更 直接 地 
说 明了 代码 的 情况 。 第 三 ， 理 解 产 品 实现 需要 仔细 研读 代码 ， 任 何 度量 
方法 都 是 辅助 。 既 然 如 此 ， 不 妨 从 最 简单 的 度量 入 手 。 


基于 如 图 7-2 所 示 的 数据 表 ， 小 张 获得 了 代码 行 数 的 统计 结果 ( 详 见 表 7- 
1) ， 并 绘制 出 代码 行 数 的 分 布 图 ( 详 见 图 7-3) 。 由 表 7-1 可 知 ，NUnit 











的 测试 代码 要 远 多 于 产品 代码 ， aN e al 
倍 ， 测 试 代码 的 代码 行 数 是 产品 代码 的 4.4 倍 ， 这 暗示 NUnit 很 可 能 采用 
测试 驱动 开发 ， 自 动 化 测试 的 代码 量 很 大 。 a 
码 有 2 万 多 行 ， 平 均 到 每 个 文件 只 有 145 行 。 这 说 明 NUnit 是 一 个 小 型 的 
测试 框架 ， 大 多 数 源 代码 文件 长 度 较 短 。 图 7-3 也 确认 大 部 分 源 代码 文 
件 的 长 度 小 于 500 行 ， 超 过 1000 行 的 文件 屈指 可 数 。 











表 7-1 NUnit 的 代码 行 数 统计 


= se | comes | 代码 行 并 文人 
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= 102534 152.1 
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图 7-3 源 代 码 文 件 (产品 代码 和 测试 代码 〉 的 代码 行 数 分 布 


随后 ， 小 张 绘制 出 图 7-4， 以 获悉 代码 行 数 最 多 的 10 个 文件 。 由 该 图 可 
知 ， 代 码 最 多 的 是 Assert.cs。 通 过 阅读 代码 〈 详 见 图 7-5) ， 小 张 发 现 
Assert.cs 包 含 一 批 测 试 断 言 函 数 。 断 言 函 数 数量 庞大 用 函 数 注 释 较 长 ， 
该 文件 达到 3600 多 行 。 但 是 每 个 函数 都 很 简单 ， 所 以 整个 文件 的 复杂 度 
并 不 高 。 接 下 来 3 个 代码 较 多 的 文件 与 图 形 界面 相关 ， 说 明 图 形 界 面 是 








NUnit 中 相对 复杂 的 部 分 。 然 后 是 测试 加 载 器 TestLoader.cs， 阅 读 其 代码 
可 知 它 帮助 测试 运行 器 加 载 和 番 载 测试 用 例 。 最 后 是 3 个 约束 相关 的 文 
件 ， 这 暗示 约束 是 NUnit 中 一 个 较 复杂 的 概念 。 








\NUnitFramework\framework\Assert.cs 3666 
\GuiRunner\nunit-gui\NUnitForm.cs 1888 
\GuiComponents\Uikit\TestSuteTreeView.cs Ls 1400 
\GuiComponents\Uikit\TestTree.cs mm 826 
\ClientUtilities\util\TestLoader.cs mm 821 
\NUnitF ramework\framework\Constraints\ConstraintExpression.cs 808 
\NUnitFramework\framework\Constraints\ConstraintFactory.ccs Ss 807 
\NUnitFramework\tests\Constraints\CollectionConstraintTests.cs Ss 728 
\NUnitCore\core\Builders\PairwiseStrategy.cs mm 695 
\NUnitFramework\framework\CollectionAssert.cs mmm 658 
\NUnitCore\core\TestSuite.cs mu 657 
\GuiException\tests\CSharpParser\TestTokenClassifier.cs EE 632 
\NUnitCore\tests\EventQueueTests.cs mu 626 
\NUnitFramework\tests\EquabFixture.cs i 578 
\ProjectEditor\editor\PropertyEditor\PropertyView.Designer.cs Sm 563 
\NUnitCore\interfaces\RuntimeFramework.cs MENEE 557 
\GuiException\tests\Controls\TestCodeBox.cs ME 557 
\NUnitFramework\framework\Constraints\EqualConstraint.cs ME 556 
\NUnitFramework\framework\DirectoryAssert.cs MEN 553 
Y A MZ, H 人 人 D 
图 7-4 代码 行 数 最 多 的 10 个 文件 
Assertcs - Notepad2 = Oo 
File Edit View Settings ? 
1996 /// <summary> a 
1997 /// Verifies that two objects are equal. Two objects are considered 
1998 /// equal if both are null, or if both have the same value. NUnit 
1999 /// has special semantics for some object types. 
2000 /// If they are not equal an <see cref="AssertionException"/> is thrown. 
2001 /// </summary> 
2002 /// <param name="expected”™>The value that is expected</param> 
2003 /// <param name-"actual”>The actual value</param> 
2004 /// <param name="message”>The message to display in case of failure</param> 
2005 /// <param name«"args">Array of objects to be used in formatting the message</param> 
2006 public static void AreEqual(object expected, object actual, string message, params object[] args) 
2007 { 
2008 Assert.That(actual, Is.EqualTo(expected), message, args); 
2009 } S 


图 7-5 Assert.cs 源 代码 (局 部 ) 
为 了 更 好 地 理解 模块 的 代码 量 ， 小 张 叉 绘制 了 图 7-6， 以 了 解 代 码 行 净 


最 多 的 10 个 目录 。 由 该 图 可 知 ， 图 形 界 面 模块 UiKit 拥 有 最 多 的 代码 ， 

其 次 是 Constraints、core、framework、nutil、interface 等 NUnit 的 核心 模 
块 。 随 后 是 约束 的 测试 代码 (NUnitFramework\tests\Constraints) ， 这 
A 可 能 是 比较 复杂 的 概念 ， 拥 有 较 多 的 产品 代码 和 测试 代 











\GuiComponents\UiKit 9661 
\NUnitFramework\framework\Con straints 9504 
\NUnitCore\core 9347 





\NUnitFramework\framework Si 8885 
\ClientUtilities\util es 7320 
\NUnitCore\interfaces SEE 3942 
\NUnitFramework\tests\Constraints mm 3826 
\GuiRunner\nunit-cul 3712 
\tests\tes-assembly mms 3497 
\GuiException\UiException\Controls Emm 3040 
\NUnitCore\core\Builders Em 2924 
\GuiException\tests\Controls — 2888 
\ProjectEditor\editor\PropertyEditor mm 2636 
\GuiRunner\nunit-gui\SettingsPages 2268 
\NUnitFramework\tests\Syntax ME 2256 
\GuiException\UiException\CSharpParser Bm 2043 
\NUnitFramework\framework\Attributes MN 1914 
\GuiException\tests\CSharpParser MN 1784 
\ClientUtilities\util\Services mmm 1617 
\PNUnit\launcher me 1420 
\NUnitCore\interfaces\Extensibility mmm 1131 
\ProjectEditor\editor\Main mmm 1128 
\ConsoleRunner\nunit-console mmm 1084 
\ProjectEditor\tests\Presenters ma 1025 


图 7-6 ”代码 行 数 最 多 的 10 个 目录 

根据 表 7-1、 图 7-3、 图 7-4 和 图 7-6， 小 张 获 得 了 NUnit 的 代码 分 布 ， 了 解 
了 模块 和 文件 的 代码 量 ， 为 深入 研究 提供 了 基本 信息 。 如 果 熟 悉 脚本 话 
言 和 电子 表格 ， 获 得 统计 信息 并 作 图 只 需 十 多 分 钟 的 时 间 ， 而 且 还 可 以 
绘制 更 多 的 图 表 ， 从 不 同 的 角度 挖掘 源 代 码 的 信息 。 

回顾 以 上 代码 度量 步骤 不 难 获得 如 下 经 验 。 


。 代码 度量 提供 了 代码 茶 个 方面 的 概况 ， 可 以 帮助 阅读 者 一 宽 全 局 。 

















。 简单 的 代码 度量 很 容易 实现 。 本 节 的 案例 表明 不 使 用 语法 分 机 、 仪 
利用 文本 分 析 就 能 提供 一 些 有 帮助 的 信息 。 


。 用 恰当 的 工具 (电子 表格 、 数 据 库 等 ) 分 析 数 据 ， 可 以 快速 地 计算 
并 展示 数据 。 这 提高 了 数据 分 析 的 效率 。 


。 代码 度量 只 提供 了 代码 阅读 的 线索 ， 获 得 更 透彻 地 理解 仍旧 需要 深 
入 阅读 源 代 码 。 


在 知晓 代码 的 基本 情况 后 ， 小 张 开 始 阅读 具体 的 代码 ， 来 获得 更 深刻 的 
理解 。 通 常 ， 阅 读者 没有 时 间 查 看 所 有 源 代码 ， 因 此 他 需要 选择 性 地 阅 
读 。 基 本 的 策略 是 选择 与 当前 测试 任务 有 关 的 代码 。 因 为 小 张 的 阅读 目 
标 是 熟悉 NUnit 代 码 ， 所 以 他 打算 阅读 一 些 核心 的 且 自 己 感 兴趣 的 代 
码 。 他 所 选择 的 代码 是 约束 。 


小 张 将 约束 的 测试 用 例 作 为 阅读 的 切入 点 ， 利 用 测试 代码 来 理解 约束 的 
用 法 和 语义 。 考 虑 到 NUnit 提 供 了 很 好 的 文档 ， 小 张 决定 从 文档 入 手 。 

他 通过 文档 的 首页 (doc\index.html) 发 现 了 一 批 约束 相关 的 页 面 ( 详 见 
图 7-7) 。 他 快速 浏览 这 批 页 面 ， 重 点 阅读 文档 摘要 和 代码 示例 ， 从 而 
逐渐 形成 以 下 想法 。 


。 约束 的 全 称 应 该 是 “基于 约束 的 断言 模型 "， 它 由 一 组 类 构成 ， 用 于 
编写 测试 检查 代码 。 


利用 约束 编写 的 断言 代码 类 似 于 测试 领域 专属 语言 ， 让 测试 开发 人 
员 可 以 用 精炼 的 代码 来 表达 丰富 的 语义 。 例 如 ， 语 句 Assert.That 
(intArray, Has.All.GreaterThan(@) ) 检查 整数 数组 
intArray 的 所 有 元 素 都 大 于 0。 该 语句 的 核心 是 约束 代 

人 码 Has .All.GreaterThan(6) ， 它 用 短小 清晰 的 格式 表达 出 检查 
方法 ， 让 测试 逻辑 一 目 了 然 。 


基于 约束 的 断言 代码 包括 两 部 分 : 约束 的 使 用 者 《如 断言 函 

数 Assert .That(object actual, IResolveConstraint 
constraint) ) 和 约束 的 实现 者 (实现 接口 [ResolveConstraint 的 对 
B) 。 











从 Assert.That 的 函数 签名 推测 ， 约 束 的 实现 手法 类 似 于 命令 模 
式 [Gof94]， 即 测试 代码 定义 命令 ， 然 后 将 命令 传递 给 


Assert.That ， 由 后 者 调用 命令 


。 约束 的 呈现 方式 是 一 个 表达 式 (如 Has .All.GreaterThan(@) 
) 。 其 实现 方式 可 能 是 解释 器 模式 [Gof94]， 即 通过 表达 式 树 来 定 
义 计算 逻辑 。 
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Constraint-Based Assert Model (NUnit 2.4) m NUNIT 2.62 

© GETTING STARTED 
The constraint-based Assert model uses a single method of the Assert class for all © WRITING TESTS 
assertions. The logic necessary to carry out each assertion is embedded in the m ASSERTIONS 
constraint object passed as the second parameter to that method. m ATTRIBUTES 


Here's a very simple assert using the constraint model: m CONSTRAINTS 
@ EQUAL CONSTRAIN 


Assert.That( myString, Is.EqualTo("Hello") ); 


The second argument in this assertion uses one of NUnit's syntax helpers to 
create an EqualConstraint. The same assertion could also be made in this form: 


Assert.That( myString, new EqualConstraint ("Hello") ); 


Using this model, all assertions are made using one of the forms of the Assert.That 
() method, which has a number of overloads... 





| Assert.That( object actual, IResolveConstraint constraint } 
Assert.That( object actual, IResolveConstraint constraint, 


TResolveConstraint constraint, 
message, object[] pare ) 


@ SAMEAS CONSTRAI 
m CONDITION CONSTI 
m COMPARISON CONS 
© PATH CONSTRAINT: 
@ TYPE CONSTRAINTS 
@ STRING CONSTRAD 
m COLLECTION CONS’ 
m PROPERTY CONSTR 
a THROWS CONSTRAI 
m COMPOUND CONST. 
@ DELAYED CONSTR: 


m LIST MAPPER 
Assert.That( ActualValueDelegate del, IResolveConstraint constraint ) t g 
Assert. That( McealvaloeDelegare del, IResolveConstraint constraint, = REUSABLE CONSTR 
string message ) © TEST CONTEXT 
| Assert.That( ActualValueDelegate , IResciveConstraint constraint, 
string message, nRT] parms ) ®@ RUNNING TESTS 





图 7-7 约束 的 文档 


为 了 检验 对 代码 实现 的 推测 ， 小 张 搜 索 源 代码 ， 发 现 了 
Assert.That(..) 对 IResolveConstraint 的 调用 ( 详 见 图 7-8〉 和 
IResolveConstraint 的 定义 〈 详 见 图 7-9) 。 由 这 两 段 代码 ， 他 基本 
确认 约束 使 用 者 与 约束 实现 者 通过 命令 模式 来 连接 。 然 后 ， 他 浏览 约束 
实现 类 的 源 代码 (位 于 目 

\src\NUnitFramework\framework\Constraints) > #8 

据 ConstraintExpression 〈 详 见 图 7-10) 等 类 的 实现 代码 ， 他 基本 确 
定 约束 的 逻辑 由 表达 式 树 来 实现 。 


4 Assert.cs - Notepad2 - 口 
File Edit View Settings ? 


303 static public void That(object actual, IResolveConstraint expression, string message, params object[] args) ^ 
304 { 

305 Constraint constraint = expression.Resolve(); 

306 

307 Assert. IncrementAssertCount(); 

308 if (!constraint.Matches(actual)) 

309 { 

310 MessageWriter writer = new TextMessageWriter(message, args); 

311 constraint.WriteMessageTo(writer) ; 

312 throw new AssertionException(writer.ToString()); 

313 } 

314 } v 


图 7-8 Assert.That 对 IResolveConstraint 的 调用 


B IResolveConstraint.cs - Notepad2 = a 
File Edit View Settings ? 
7 namespace NUnit.Framework.Constraints a 
e f 
2 /// <summary> 
10 /// The IConstraintExpression interface is implemented by all 
11 /// complete and resolvable constraints and expressions. 
12 //{ </summary> 
13 public interface IResolveConstraint 
14 { 
15 /// <summary> 
16 /// Return the top-level constraint for this expression 
17 /// </summary> 
18 /// <returns></returns> 
19 Constraint Resolve(); 
20 } 
24 1} ss 


图 7-9 IResolveConstraint 的 定义 


» 


ConstraintExpression.cs - Notepad2 - 0 Ee 


File Edit View Settings ? 


10 
11 
12 
13 
14 
15 
16 
17 
18 
19 


namespace NUnit.Framework.Constraints a 
{ 
/1 <summary> 
/// ConstraintExpression represents a compound constraint in the 
/// process of being constructed from a series of syntactic elements. 
/// Individual elements are appended to the expression as they are 
/// reognized. Once an actual Constraint is appended, the expression 
/// returns a resolvable Constraint. 
[/{ </summary> 
public class ConstraintExpression : ConstraintExpressionBase 
{ 
1// <summary> 
/} Initializes a new instance of the <see cref="T:ConstraintExpression"/> class. 
i/ </summary> 
public ConstraintExpression() { } 


图 7-10 ConstraintExpression 的 定义 


由 以 上 代码 阅读 过 程 ， 不 难 提 取出 一 些 代码 阅读 的 基本 实践 。 


阅读 者 针对 一 个 特定 的 主题 进行 阅读 ， 以 点 带 面 地 推动 代码 理解 。 
对 于 一 组 代码 ， 阅 读者 需要 从 外 部 代码 的 角度 理解 它们 的 功能 和 用 
法 ， 并 评估 它们 对 整个 产品 的 贡献 。 

对 于 一 组 代码 ， 阅 读者 需要 理解 它们 的 实现 方法 ， 包 括 所 使 用 的 设 
计 、 所 采用 的 技术 、 所 依赖 的 其 他 代码 等 。 

了 解 语言 特性 、 惯 用 设计 、 命 名 规范 等 基础 知识 会 帮助 阅读 。 阅 读 
者 需要 主动 地 学 习 和 积累 这 方面 的 知识 。 

代码 阅读 并 没有 固定 的 阅读 顺序 。 阅 读者 可 以 由 一 个 函数 或 类 切 

入 ， 搜 索 并 阅读 它 的 调用 代码 和 实现 代码 。 他 也 可 以 顺序 浏览 一 个 
目录 中 的 源 代码 文件 ， 以 通盘 了 解 。 

在 阅读 过 程 中 ， 阅 读者 会 产生 一 些 想法 。 应 该 将 它们 记录 下 来 ， 并 
阅读 更 多 的 代码 来 检验 这 些 想法 ， 从 而 获得 更 深刻 的 理解 。 








7.1.2 分 析 源 代码 来 帮助 测试 设计 


在 具体 的 测试 任务 中 ， 测 试 对 象 通常 是 一 组 代码 变更 。 它 们 或 增加 产品 
的 功能 ， 或 重 构 己 有 的 代码 ， 或 修复 已 知 的 缺陷 。 其 特征 都 是 只 改动 产 
品 的 部 分 代码 ， 并 要 求 修改 后 的 产品 可 以 正常 工作 。 为 了 更 有 效 的 测 
试 ， 测 试 人 员 需 要 阅读 代码 来 以 理解 变更 的 影响 ， 并 激发 测试 想法 。 


影响 分 析 是 一 种 第 用 的 代码 分 析 方 法 ， 旨 在 分 析 目 标 代码 受 哪些 代码 
的 影响 ， 又 会 影响 到 哪些 代码 。 对 于 测试 任务 而 言 ， 测 试 人 员 主 要 关注 
以 下 两 个 方面 。 


。 哪些 代码 会 影响 被 修改 代码 ? 被 修改 代码 的 输入 数据 从 何 而 来 ? 如 
何 构造 测试 用 例 让 程序 执行 获 凋 被 修改 代码 ?如何 构 造 测试 用 例 以 
测试 被 修改 代码 的 状态 ? 能 人 否 构造 测试 用 例 让 被 修改 代码 发 生 错 


误 ? 


被 修改 代码 会 影响 到 哪些 代码 ? 被 修改 代码 的 输出 数据 流 癌 何 处 ? 
如 何 观察 到 被 修改 代码 的 和 输出? 如何 构造 测试 用 例 以 更 全 面 地 测试 
受 影响 的 代码 ? 能 否 让 被 修改 代码 产生 “有 异常 ”的 输出 数据 ， 令 受 影 
啊 的 代码 发 生 错 误 ? 


为 了 识别 代码 之 间 的 影响 ， 测 试 人 员 需 要 在 阅读 代码 的 过 程 中 实施 控制 
流 分 析 和 数据 流 分 析 。 


。 控制 流 分 析 检 查 语句 A 的 执行 是 否 影 响 语句 B 的 执行 。 以 下 是 一 
些 基 本 的 分 析 规 则 。 


o 如 果 函 数 A 调用 函数 B ， 那 么 函数 A 控制 影响 函数 B ， 也 称 函 
数 B 控制 依赖 于 函数 A 。 


o 分 文 语句 的 条 件 表达 式 控 制 分 文 语句 的 子 语句 。 例 如 ， 在 if 
(expr) { A; } else { B; } 中 ， 表 达 式 expr 控制 影响 语 
AA 和 语句 B ， 也 称 语句 A 和 语句 B 控制 依赖 于 表达 式 expr 。 


o 循环 语句 的 条 件 表达 式 控制 循环 语句 的 循环 体 。 例 如 ， 
在 while (expr) { A; } 中 ， 表 达 式 expr 控制 影响 语句 A ， 
也 称 语 句 A 控制 依赖 于 表达 式 expr 。 


o 跳 转 语句 所 跳 过 的 语句 依赖 于 跳 转 语句 。 例 如 ， 在 if (expr) 
{ return; } A; 中 ， 跳 转 语句 return 改变 了 程序 的 执行 























流 ， 执 行 return 语句 将 导致 语句 A 不 被 执行 。 于 是 ，return 
语 境 控制 影响 语句 A ， 也 称 语句 A 控制 依赖 于 return 语句 。 


。 数据 流 分 析 检 查 语句 A 赋值 的 数据 是 否 被 语句 B 使 用 。 
o as 被 语句 A 赋值 或 修改 ， 那 么 称 语句 A 是 变量 x 的 定义 











o e 的 值 被 语句 B 使 用 ， 那 么 称 语 句 B 是 变量 x 的 引用 











o 如 末 语 句 A 是 变量 x 的 定义 点 ， 语 句 B 是 变量 x 的 引用 点 ， 存 在 
一 条 从 A BIB 的 执行 路 径 ， 且 该 路 径 上 x 不 被 修改 ， 那 么 称 语 
AJA 数据 影响 语句 B ， 也 称 语 句 B 数据 依赖 于 语句 A 。 


接 下 来 通过 一 个 实例 来 展示 影响 分 析 在 代码 阅读 中 的 运用 。 程 序 wc4 是 
Unix 平 台 的 一 个 常用 命令 ， 用 来 统计 文本 文件 的 字符 数 、 单 词 数 和 行 
数 。 图 7-11 展 示 了 wc 最 基本 的 函数 调用 关系 ” 。 主 函数 main 从 命令 行 接 
受 待 分 析 的 文件 名 ， 然 后 调用 函数 counter 完成 统计 任务 。 为 了 统计 字 
符 、 单 词 和 行 的 数目 ，counter 调用 函数 getword ， 而 后 者 调用 函 

数 isword 来 判断 一 个 字符 是 否 为 单词 字符 。 








4 wc 的 样 例 代码 : http://www.gnu.org/software/cflow/manual/html_node/Source-of-wc- 
command.html 。 








5 完整 的 函数 调用 图 请 参考 : http://www.gnu.org/software/cflow/manual/html_node/ASCII- 
Tree.html#ascii%20tree 。 


| main() | B> | Counter() E> l getword() | E> [ isword() 


图 7-11 wc.c 中 的 函数 调用 关系 


假设 函数 isword 的 实现 代码 被 修改 ， 测 试 人 员 需 要 检查 该 代码 变更 没 
有 引入 错误 。 他 在 源 代码 文件 wc.c 中 搜索 isword 的 调用 点 ， 发 现 了 它 
的 两 个 调用 点 都 在 函数 getword 中 《有 具体 实现 请 参考 代码 清单 7-2) 。 
然后 ， 他 对 每 一 个 调用 点 进行 了 分 析 。 


。 getword 的 第 一 个 调用 点 在 语句 C 。 语 句 C 使 用 变量 c 《〈 即 语句 C 





























古 变 量 c 的 引用 点 ) ， 该 变量 的 取 值 来 目 于 语句 B 〈 即 语句 B 是 变 
量 c 的 定义 点 ) ， 故 语句 C 数据 依赖 于 语句 B 。 在 语句 B H, Ec 
的 值 读 取 目 文件 指针 印 ， 而 文件 指针 的 定义 点 是 语句 A 。 所 以 ， 完 
整 的 数据 流 是 A >B -~C ， 即 被 修改 代码 isword 的 输入 数据 来 自 于 
作对 应 的 文件 (数据 流 图 请 参考 图 7-12)〉 。 这 提示 测试 人 员 构 造 各 
种 各 样 的 文件 以 周密 地 测试 代码 变更 。 


o 构造 一 个 或 一 组 文件 覆盖 isword 的 输入 参数 c 的 所 有 取 值 ， 
即 unsigned char 的 所 有 取 值 256 个 值 ) 。 


。 为 了 检查 wc 的 正确 性 ， 构 造 一 个 或 一 组 文件 包含 空格 、Tab 
键 、 数 字 、 字 母 、 回 车 、 换 行 等 字符 ， 以 检查 wc 正确 地 统计 了 
字符 数 、 单 词 数 和 行 数 。 


o 测试 ASCII 和 Unicode 编 码 的 文件 。 
o 测试 文本 文件 和 二 进 制 文 件 。 


。 在 语句 C 中 ，getword 位 于 if 语句 (分 支 语 句 ) 的 条 件 表达 式 
中 ， 它 的 返回 值 会 影响 程序 的 执行 。 进 一 步 分 析 可 知 ， 语 句 D 和 语 
句 E 控制 依赖 于 语句 C 。 进 一 步 地 ， 语 句 E 是 跳 转 语句 ， 如 果 它 被 
执行 ， 那 么 语句 F 不 会 被 执行 ， 故 语句 F 控制 依赖 于 语句 E 。 所 
以 ， 完 整 的 控制 流 是 C ~“{D;E} -F COUNT(c) (控制 流 图 请 参 
考 图 7-12) 。 分 析 控 制 流 上 的 语句 可 知 ， 它 们 会 递增 变量 wcount 
、ccount 和 1lccount 的 值 。 这 提示 了 一 些 测 试想 法 。 








o 构造 测试 输入 ， 让 wcount 、ccount 或 lccount 的 值 不 被 修 
Ds 

o 构造 测试 输入 ， 让 wcount 、ccount 或 lccount 发 生 整 数 溢 
ane 


。 getword 的 第 二 个 调用 点 在 语句 H 。 经 过 分 析 可 得 数据 流 A SF SH 
和 控制 流 H +E -F (详情 请 参考 图 7-12) 。 之 后 ， 测 试 人 员 可 实 
施 测试 分 析 ， 以 获得 测试 想法 。 


代码 清单 7-2 ”wc.c 中 getword 和 isword 的 代码 


/* Return true if C is a valid word constituent */ 
static int 
isword (unsigned char c) 


{ 
} 


return isalpha2 (c); // 此 处 代码 被 修改 


/* Increase character and, if necessary, line counters */ 
#define COUNT(c) \ 

ccount++; \ 

if ((c) == '\n') \ 


lcount++; 


/* Get next word from the input stream. Return 6 on end of file or error co 
int 

getword (FILE *fp) // A: 变量 fp 的 定义 点 

{ 











int c; 
int word = 9; 


if (feof (fp)) 
return ð; 














while ((c = getc (fp)) != EOF) // B: 变量 c 的 定义 点 ， 也 是 变量 fp 的 引用 点 
{ 














if (isword (c)) // C: 函数 isword 的 调用 点 ， 也 是 变量 c 的 引用 ， 
{ 





I 依赖 于 语句 C 
I 依赖 于 语句 C 


wcount++; // 
break; // 


j 
j 


} 
COUNT (c); : 该 i E 制 依赖 域 语句 E 








} 














for (; c != EOF; c = getc (fp)) : Bache MA, thas 
{ 





COUNT (c); : 该 语句 控制 依赖 于 语句 ] 
if (!isword (c)) : 函数 isword 的 调用 点 ， 也 是 变 
break; : 该 语句 控制 依赖 于 语句 I 























} 


return c != EOF; 











图 7-12 展 现 了 以 上 影 啊 分 析 的 结果 ， 其 中 实 线 表示 数据 流 ， 虚 线 表 示 控 
制 流 。 对 于 简单 的 程序 ， 测 试 人 员 只 要 在 头脑 中 分 析 语 名 的 影响 关系 即 
可 ， 无 需 绘 制 详细 的 图 形 。 对 于 复杂 的 程序 ， 测 试 人 员 可 以 一 按 阅 读 ， 
一 边 写 下 重要 的 语句 或 函数 ， 并 绘制 出 它们 之 间 的 关系 。 这 能 够 帮助 他 





同时 追踪 多 行 代 码 ， 发 掘 它们 的 关系 ， 从 而 较 完 整地 理解 代码 。 


A: getword(FILE*fp) 
fp 





B: c=getc(fp) F: c=getc(fp) 
C 
C: if(isword(c)) H: if(isword(c)) 
. 


C COUN++; 





if((c)=='\n') 
lcount++; 





图 7-12 函数 getword 的 数据 流 和 控制 流 《〈 局 部 ) 


值得 一 提 的 是 ， 全 局 变量 是 需要 特别 关注 的 对 象 。 它 们 往往 被 软 件 的 多 
个 功能 读 写 ， 会 广泛 地 影响 软件 的 控制 流 和 数据 流 。 因 为 它们 的 读 写 代 
码 通常 分 布 在 多 个 文件 中 ， 只 阅读 变更 代码 不 能 完整 地 理解 它们 的 影 

啊 。 此 时 ， 测 试 人 员 需 要 在 整个 源 代 码 树 上 搜索 它们 的 引用 点 和 和 定义 
所 ， 然 后 分 析 变 更 代码 如 何 影 响 这 些 引 用 点 、 又 如 何 被 这 些 定义 点 所 影 
啊 。 因 为 代码 修改 者 很 可 能 没有 考虑 这 些 引 用 点 和 定义 点 ， 所 以 变更 代 
码 会 引入 菏 些 缺陷 ， 而 全 面 的 影 啊 分 析 将 找 出 这 些 问题 。 


与 影响 分 析 相 似 ， 污 染 传播 分 析 也 是 一 种 基于 控制 流 和 数据 流 的 代码 








分 析 方 法 [Chess07]。 它 重点 关注 数据 流 ， 通 过 分 析 数 据 从 何 处 进入 软件 
和 数据 如 何在 软件 中 传播 ， 来 发 掘 隐藏 的 缺陷 。 污 染 传播 分 析 是 一 些 训 
态 代码 检查 工具 的 基础 ， 在 软件 安全 领域 得 到 成 功 的 应 用 ， 能 够 发 现 许 
多 动态 测试 难以 暴露 的 安全 性 问题 。 对 于 普通 的 测试 人 员 ， 即 便 没 有 代 
码 检查 工具 的 辅助 ， 他 也 可 以 利用 污染 传播 的 思想 来 指导 代码 阅读 ， 以 
更 好 地 设计 测试 。 


污染 传播 的 核心 隐喻 是 “污染 ”和 ”传播 "。 所 谓 “ 污 染 ? 是 指 被 污染 的 数 
据 ， 其 源头 通常 是 包含 恶意 数据 的 攻击 性 输入 。 所 谓 * 传 播 " 是 指 软件 没 
能 过 小 掉 被 污染 的 数据 ， 让 这 些 恶 意 数据 在 软件 中 传播 ， 最 终 导 致 软件 
故障 ， 或 将 恶意 数据 传递 给 用 户 和 其 他 软件 。 为 了 发 现 此 类 问题 ， 训 试 
人 员 可 以 考虑 以 下 代码 阅读 方法 。 


。 标记 软件 的 入 口 点 ， 即 寻找 接收 外 部 输入 的 代码 。 这 批 代 码 会 调 
用 语言 、 程 序 库 或 平台 的 API (这 些 API 的 名 字 常 包含 read、 
receive、accept、fetch 等 单词 ) 来 接受 数据 ， 其 数据 来 源 包括 用 户 
输入 、 文 件 、 数 据 库 、 平 台 调 用 、 网 络 通信 等 。 


。 分 析 以 入 口 点 为 源头 的 数据 流 ， 寻 找 输入 检查 代码 。 通 党 ， 检 查 
代码 的 使 命 是 发 现 异 币 输 入 、 报 告 错误 并 过 滤 兵 异 闻 数据 ， 使 污染 
不 能 在 软件 中 传播 。 

o 如 果 不 存在 检查 代码 ， 那 么 测试 人 员 分 析 使 用 输入 数据 的 代 
ert E ec ee 
Ho 

o 如 果 存 在 检查 代码 ， 那 么 汕 试 人 员 仔细 分 析 检 碍 代码 ， 以 挖掘 
检查 逻辑 的 漏洞 。 无 论 是 否 及 现 了 确 羡 的 漏洞 ， 他 都 可 以 针对 
E ena nen E 
数据 。 


























。 标记 软件 的 出 口 点 ， 即 找到 发 送 输出 数据 的 代码 。 这 批 代 码 会 调 
用 语言 、 程 序 库 、 平 台 的 API (这 些 API 的 名 字 常 包含 write、send、 
output、flush 等 单词 ) 来 写 出 数据 ， 其 输出 目标 包括 用 户 界 面 、 文 
件 、 数 据 库 、 其 他 程序 、 网 路 服务 等 。 


。 分 析 以 出 口 点 为 终点 的 数据 流 ， 寻 找 输 出 之 前 清理 数据 和 格式 化 
数据 的 代码 。 


(0) 


ie) 


oO 


清理 数据 的 代码 应 该 过 小 挥 异 肖 数 据 ， 使 得 污染 不 会 传递 给 其 
他 软件 或 数据 存储 文件、 数据 库 、 注 册 表 等 ) 。 测 试 人 员 的 
任务 是 分 析 这 些 代 码 ， 然 后 通过 测试 用 例 来 展开 攻击 ， 以 检查 
它 能 否 正确 地 发 现 并 处 理 不 正确 的 数据 。 阅 读 代 码 可 以 提供 更 
多 的 攻击 思路 ， 较 单纯 的 黑 盒 测试 更 加 高 效 。 


格式 化 数据 的 代码 会 转化 数据 的 表现 形式 ， 以 产生 目标 软件 或 
数据 存储 可 以 接受 的 数据 。 不 正确 的 格式 化 会 产生 错误 的 数 

据 ， 对 数据 接收 者 而 言 这 些 错误 的 数据 也 是 一 种 污染 。 测 试 人 
员 的 任务 是 分 析 格 陈 化 代码 ， 然 后 构造 测试 用 例 来 暴露 它们 的 


问题 。 


尝试 寻找 一 条 从 入 口 皮 到 出 口 点 的 数据 流 。 在 该 数据 流 上 ， 输 
入 检查 代码 和 输出 检查 代码 都 存在 问题 ， 使 得 恶意 的 数据 可 以 
TA o 
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一 个 运行 在 下 中 的 Silverlight 应 用 从 服务 端 获 得 数据 ， 并 绘制 报 


表 。 在 服务 端 ， 一 个 同步 工具 将 外 部 数据 源 的 数据 写 入 数据 库 ， 一 个 
Windows 服 务 读 取 该 数据 库 ， 并 将 数据 传递 给 一 个 1S 网站， 最 后 该 网 站 
将 数据 传递 给 客户 端的 Silverlight 应 用 。 
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报表 系统 的 系统 生态 图 


根据 污染 传播 的 思路 ， 测 试 人 员 可 以 考虑 如 下 代码 阅读 策略 。 
。 阅读 同步 工具 和 数据 库 的 代码 ， 并 构造 测试 用 例 。 
o 检 杜 它 能 否 处 理 来 自 外 部 数据 源 的 异 第 数据 。 


o 检查 它 不 会 将 错误 的 数据 写 入 数据 库 。 一 个 典型 有 严重 的 错误 
征 同步 工具 存在 SQL 注入 的 安全 漏洞 ， 让 来 目 外 部 数据 源 的 亚 
意 数 据 复 改 或 删除 了 数据 库 的 数据 。 测 试 人 员 不 应 该 假定 外 部 
数据 源 是 安全 的 ， 因 为 它 可 能 被 其 他 软件 攻击 ， 以 致 于 包含 恶 
意 数据 。 许 多 安全 事故 表明 ， 黑 客 会 构造 出 一 条 攻击 链 ， 将 多 
个 软件 作为 攻击 跳板 ， 以 攻陷 目标 软件 。 


数据 库 的 字段 往往 有 固定 的 长 度 ， 例 如 SQL Server 中 INT 是 32 
位 ，BIGINT 是 64 位 ，NVARCHAR(28) 最 多 只 能 容纳 20 个 
Unicode 字 符 等 。 测 试 人 员 需 要 检查 同步 工具 写 入 的 数据 是 否 
会 超过 字段 的 长 度 ， 是 否 会 导致 存储 过 程 的 计算 发 生 错 误 。 


e 侧 读 Windows 服 务 和 IIS 网 站 的 代码 ， 并 构造 测试 用 例 。 


o 如 采 它 们 所 读 取 的 数据 库 包 含 错误 数据 ， 它 们 的 输入 检查 代码 
能 人 否 发 现 错误 ? 它们 能 否 将 错误 信息 用 合理 的 方式 报告 给 最 终 
用 户 和 系统 管理 员 ? 


数据 库 提供 了 符合 格式 和 范围 的 数据 ， 它 们 的 报表 计算 代码 是 
AEWA? 在 计算 过 程 中 会 不 会 产生 数值 溢出 、 报 表 超 出 范围 、 
排版 错误 等 问题 ? 报表 计算 代码 能 否 发 现 这 些 错误 ， 并 用 合理 
的 方式 报 给 最 终 用 户 和 系统 管理 员 ? 


它们 的 输出 检查 代码 能 否 正 确 工作 ? 错误 的 数据 和 报表 会 不 会 
传递 给 客户 问 的 Silverlight 订 用 ? 这 些 被 污染 的 数据 会 不 会 破 
坏 客 户 端 应 用 ， 导 致 用 户 数据 丢失 ? 


它们 的 输入 检查 代码 能 否 正确 工作 ? 如 果 客 户 端 提 交 了 和 恶意 数 
据 ， 数 据 库 会 不 会 被 算 改 ?测试 人 员 不 应 该 假设 客户 端 程序 是 
安全 的 ， 因 为 黑客 可 以 编写 一 个 程序 ， 伪 著 成 客户 端 应 用 回 
IIS 网 站 提交 HTTP 请 求 。 




















ie) 


© 





(0) 





O 〇 








。 阅读 客户 并 程序 代码 ， 并 构造 测试 用 例 。 
o 客户 端的 输入 包括 用 户 提 区 的 数据 和 IS 网 站 给 出 的 报表 。 


o 测试 人 员 检 查 用 户 提交 的 错误 数据 不 会 被 传递 给 IIS 网 站 ， 即 
不 存在 从 用 户 到 网 站 的 污染 传播 路 径 。 这 通常 要 求 客户 问 程 序 
对 用 户 的 输入 做 充分 的 检查 。 


测试 人 员 检 醋 IIS 网 站 给 出 的 报表 不 会 导致 客户 病程 序 册 尝 或 
其 他 严重 问题 。 这 通 闻 要 求 客 尸 端 程 序 有 足够 好 的 异常 处 理 功 
能 。 有 时 ， 网 站 会 给 出 错误 的 报表 或 非常 复杂 的 报表 ， 让 客户 
端 程序 不 能 完成 数据 展示 任务 。 此 时 ， 客 户 端 程序 应 该 妥当 地 
结束 计算 ， 并 向 最 终 用 户 报告 错误 。 


在 阅读 代码 的 过 程 中 ， 测 试 人 员 会 发 现 一 些 缺 陷 。 更 多 的 时 候 ， 他 会 发 
现 一 些 “ 感 党 有 问题 ?的 代码 ， 但 并 不 能 确定 它们 一 定 存 在 缺陷 。 这 时 ， 

他 可 以 咨询 程序 员 ， 参 考 他 们 的 解释 和 推出 ， 但 应 该 保持 合理 的 怀疑 。 
然后 ， 他 会 构造 测试 用 例 来 攻击 这 些 疑 似 有 问题 的 代码 ， 让 测试 结果 来 
回答 心中 的 疑问 。 对 于 测试 人 员 而 言 ， 阅 读 代 码 的 主要 目的 不 是 代码 审 
但 (阅读 代码 所 发 现 的 缺陷 是 副产品 )， 而 十 发 现 所 有 的 测试 对 象 ， 以 
避免 测试 遗漏 。 在 此 基础 上 ， 分 析 测 试 对 象 ， 构 造 有 和 针对 性 的 测试 想 

法 ， 提 高 测试 执行 的 效率 ， 才 是 代码 阅读 的 基本 出 发 点 。 


7.1.3 ” 黑 盒 测试 并 不 是 基于 无 知 的 训 试 


测试 人 员 是 人 否 应 该 阅读 产品 的 源 代 码 在 测试 社区 有 争议。 有 些 测试 人 员 
认为 阅读 代码 不 利于 有 效 的 测试 ， 其 主要 见解 有 两 点 。 


第 一 ， 阅 读 源 代码 可 能 会 误导 测试 人 员 。 当 测试 人 员 阅 读 代 码 时 ， 他 

有 可 能 产生 “这 段 代码 看 上 去 没 问题 ”或 “这 段 代 码 变 更 只 会 影 啊 模 块 

A” 等 看 法 。 因 为 软件 是 高 度 复杂 的 ， 单 纯 地 阅读 代码 不 能 准确 预测 其 运 

行 时 的 行为 ， 所 以 测试 人 员 的 看 法 可 能 是 错误 的 。 如 果 他 根据 错误 的 想 

0 
陷 。 


第 二 ， 阅 读 源 代码 可 能 会 束缚 测试 人 员 的 思路 。 阅 读 源 代码 让 测试 人 
员 的 思维 方式 更 接近 程序 员 ， 从 而 丧失 了 黑 盒 测试 的 重要 优势 : 测试 人 
员 与 程序 员 的 思考 角度 不 同 ， 因 此 有 可 能 发 现 程序 员 所 遗漏 的 缺陷 


ie) 


























[Kaner01]。 此 外 ， 黑 盒 测 斌 要求 测试 人 员 理解 软件 的 用 户 ， 用 他 们 的 视 
角 考 察 软件 。 这 有 助 于 交付 真正 有 价值 的 软件 ， 确 立 产品 的 竞争 优势 。 
局 限于 代码 实现 的 测试 思考 ， 将 错过 一 些 重 要 的 测试 活动 和 产品 信息 ， 
不 利于 提高 产品 质量 。 


我 认为 以 上 两 点 都 准确 描述 了 测试 人 员 只 依赖 源 代码 进行 测试 的 风险 。 
即便 如 此 ， 阅 读 源 代码 仍旧 是 一 项 重要 且 必 要 的 测试 活动 ， 主 要 原因 有 
以 下 四 点 。 


第 一 ， 因 为 软件 是 高 度 复杂 的 ， 任 何方 法 都 不 能 获得 完整 的 产品 信 
息 ， 所 以 测试 人 员 应 该 多 角度 地 研究 软件 ， 运 用 多 种 手段 去 调查 产品 
的 质量 。 恰 如 科学 家 不 会 刻意 排除 某 种 研究 方法 、 侦 探 不 会 故意 放 过 
某 条 线索 ， 测 试 人 员 也 不 该 先入 为 主 地 放弃 任何 一 种 调查 方法 。 


第 二 ， 源 代码 是 软件 产品 最 重要 的 文档 ， 提 供 了 许多 无 可 蔡 代 的 产品 
信息 。 研 究 源 代码 和 软件 架构 能 够 帮助 测试 人 员 更 全 面 地 理解 产品 ， 
从 而 设计 出 有 针对 性 的 测试 。7.1.1 节 的 梁 例 说 明 ， 赔 读 源 代码 有 助 于 测 
试 人 员 理解 产品 ， 并 独 目 调 碍 一 些 感 兴趣 的 主题 。7.1.2 节 的 案例 表明 ， 
分 析 源 代码 可 以 产生 许多 测试 想法 ， 这 些 测试 想法 针对 产品 的 实现 ， 有 
很 强 的 查 错 能 力 。 


第 三 ， 研 究 产 品 实现 有 助 于 避免 测试 设计 的 缺陷 。 在 紧张 的 项 目 过 程 
中 ， 测 试 人 员 可 能 会 犯 一 些 错误 ， 例 如 测试 活动 没有 者 盖 需 要 测试 的 对 
象 、 测 试 方法 不 适合 产品 的 特征 、 测 试用 例 没 有 检查 重要 的 实现 细节 
等 。 因 此 ， 测 试 人 员 需 要 一 些 方法 来 评估 并 改善 测试 设计 。 阅 读 源 代码 
帮助 测试 人 员 建 并 产品 的 实现 模型 ， 了 解 对 测试 设计 有 重要 影响 的 代码 
细节 ， 可 以 有 效 地 提高 测试 设计 的 质量 。 例 如 ， 在 一 轮 黑 盒 测试 后 ， 测 
试 人 员 搜 索 代 码 ， 列 出 所 有 尚未 测试 的 入 口 点 。 这 些 入 口 点 说 明 先 前 的 
测试 设计 存在 漏洞 ， 他 需要 补充 设计 一 批 测 试用 例 来 履 凋 它们 。 


第 四 ， 降 低 代码 阅读 的 风险 并 不 困难 。 代 码 了 阅读 的 典型 风险 是 误导 测 
试 设计 和 约束 测试 人 员 思 维 。 好 的 测试 人 员 会 培养 出 从 多 个 角度 考察 产 
品 、 从 多 个 信息 源 获 取信 息 的 习惯 ， 目 然而 然 就 降低 了 此 类 风险 。 此 

外 ， 一 个 有 帮助 的 局 发 式 规则 是 : 阅读 代码 所 获得 的 “想法 ”只 是 一 

种 “假说 ”， 需 要 通过 实验 《设计 并 运行 测试 用 例 ) 来 验证 。 在 阅读 代码 
时 ， 测 试 人 员 会 对 代码 产生 一 些 判断 。 他 需要 提醒 自己 ， 这 些 观点 尚未 
得 到 验证 ， 应 该 设计 测试 来 检查 其 正确 性 。 这 样 就 将 代码 阅读 和 测试 设 
计 联 系 在 一 起 ， 从 而 让 它们 相互 支持 、 彼 此 促进 。 





























测试 专家 Cem Kaner 等 指出 “ 黑 盒 测试 并 不 是 基于 无 知 的 测试 ?>。 测 试 人 
员 对 产品 理解 得 越 好 ， 调 但 产品 的 方式 越 多 ， 就 越 有 可 能 更 好 地 测试 

[Kaner01]。 阅 读 源 代码 是 一 项 重要 的 技术 调查 方法 ， 可 以 为 测试 设计 提 
供 想法 和 反馈 ， 与 其 他 测试 技术 一 起 运用 ， 能 够 帮助 测试 人 员 更 有 效 地 
完成 测试 任务 。 











7.2 ”动态 分 析 


动态 分 析 是 通过 运行 软件 来 研究 产品 实现 的 活动 。 虽 然 动 态 分 析 只 和 窟 盖 
了 一 部 分 代码 执行 路 径 ， 它 能 详细 检查 产品 在 这 些 路 径 上 的 状态 ， 对 于 
理解 特定 情景 和 设计 有 事半功倍 之 效 。 本 节 将 介绍 一 些 动态 分 析 技 术 在 
测试 中 的 应 用 。 


7.2.1 用 工具 分 析 产 品 的 行为 


深入 的 测试 要 求 测试 人 员 透 彻 地 了 解 软件 的 动态 行为 。 一 种 常见 的 集 略 
是 先 建 立 产 品 的 概念 架构 ， 从 宏观 上 理解 其 行为 ， 然 后 根据 测试 任务 深 
入 研究 它 的 细节 ， 并 产生 一 些 测试 想法 。 在 此 过 程 中 ,合理 地 使 用 调试 
和 诊断 工具 可 以 提高 技术 调查 的 效率 。 本 节 将 讨论 一 组 汕 试 人 员 经 滑 执 
行 的 动态 分 析 任 务 ， 并 介绍 相关 的 分 析 方 法 和 技巧 。 


任务 1: 列 出 产品 所 加 载 的 动态 链接 库 


为 了 调用 程序 库 、 框 染 、 操 作 系 统 的 功能 ， 软 件 的 可 执行 程序 会 加 载 相 
应 的 动态 链接 库 。 仁 看 产品 所 加 载 的 动态 链接 库 能 了 解 产 品 的 实现 技 
术 ， 为 深入 的 测试 提供 线索 。 


例如 ， 测 斌 人员 小 张 为 了 更 好 地 理解 必 应 词典 桌面 版 *” (2.0 版 ) ， 使 用 
Process Explorer” 来 列 出 它 加 载 的 动态 链接 库 。 他 在 Process Explorer} 
选中 必 应 词典 的 进程 BingDict.exe， 按 下 组 合 键 【Ctrlt+D】 以 显示 该 进程 
加 载 的 动态 链接 库 。 他 点 击 “ 路 径 ? 列 的 表 头 ， 让 动态 链接 库 列 表 按 照 其 
路 径 排序 ， 获 得 如 图 7-14 所 示 的 结果 。 通 过 浏览 该 列表 ， 小 张 可 以 了 解 
Rn 推测 它们 的 用 途 ， 并 产生 相应 的 测试 想 
法 

















© http://www.ituring.com.cn/figures/2014/SoftwareTest/11.d07z.014.png 。 


a http://technet.microsoft.com/en-us/sysinternals/bb896653.aspx 。 


Name Description Version Path 


tiptsf di Touch Keyboard and Handwrting Panel Text Ser... 6.2.9200.16433 C:\Program Files &86)\Common Files\Microsoft Shared\ink tts di 
msado 15.di ActiveX Data Objects 6.2.9200.16384 C:\Program Files &86)\Common Files \System\ado \msado 15.dil 
msadch 15.dl ActiveX Data Objects Rowset Helper 6.2.9200. 16384 C:\Program Files &86)\Common Fies\System ado \msadrh 15.di 
oledb32 di OLE D8 Core Services 6.2.9200.16384 C:\Program Files &86)\Common Files\System\Ole DB\oledb32 di 
oledb32 di OLE DB Core Services Resources 6.2.9200.16384 C:\Program Files &86)\Common Files\System\Ole DB \oledb 32 di 
Bing Dict exe 讽 次 必 上 应 词典 20017017 C:\Program Files &86)\Microsoft Bing Dicionan\BngDict exe 
DefMor dl C:\Program Files (86) Microsoft Bing \Def Mgr. dil 
mici00u.di MFCDLL Shared Library - Retad Version 10.0.40219.325 C:\Program Files &86)\WMicrosoft Bing Dictionary ic 100u dl 
msvcp 100.di Microsoft® C Runtime Library 10.0.40219.325 C:\Program Files (86)\WMicrosoft Bing Dictionary \msvcp 100.dl 
Microsoft® C Runtime Library 10.0.40219.325 C:\Program Files &86)\WMicrosoft Bing Dictionary \msver 100 di 
NewWordListv 1. 6Helper di C:\Program Files &86)\Microsoft Bing Dictionary \New WordListv 1. GHelper di 
sqiceer35EN di Native Error Strings and Resources 3580800 C:\Program Files (x86)\Microsoft SQL Server Compact Edition’ a 5\sqiceer35, 
sqicecledb 35. di OLEDB Provider (32:bt) 3.5.8080.0 C:\Program Fies (86)\Microsoft SQL Server Compact Edition \w3.5\sqiceoledb 
sdiceqp35.di Query Processor (32-52) 3.5,8080.0 C:\Program Files &86)\Microsoft SOL Server Compact Edition é 5\sqiceqn35 
sqicese35.dl Storage Engine (32-b2) 3.5.8080.0 C:\Program Files (:86)\WMicrosoft SQL Server Compact Edtion\w3.5\sqicese35. 





图 7-14 按 路 径 排 序 的 必 应 词典 的 动态 链接 库 《〈 局 部 ) 


e BingDict.exe 从 lnk 目 录 加 载 了 tiptsf.dl。 由 动态 链接 库 的 描述 可 知 ， 
它 与 触摸 键盘 和 手写 输入 有 关 。 这 提示 小 张 需要 准备 一 台 具 备 触摸 
屏 的 计算 机 ， 以 测试 必 应 词典 能 否 完 善 地 文 持 触摸 输入 。 


。 BingDict.exe 加 载 了 ADO、OLE DB. SQL Server Compact Edition 相 
关 的 动态 链接 库 。 这 上 暗示 必 应 词典 会 访问 数据 库 。 从 软件 功能 的 角 
度 ， 必 应 词典 的 “生词 本 ”需要 保存 和 读 取 大 量 数 据 ， 最 有 可 能 使 用 
数据 库 。 其 他 功能 只 需 存 储 少 量 数据 或 只 需 读 取 数 据 ， 都 不 需要 数 
据 库 的 文 持 。 小 张 记录 他 的 发 现 和 猜测 ， 以 便 稍 后 向 程序 员 询 问 具 
体 实 现 细节 。 


。 因为 必 应 词典 使 用 数据 库 ， 小 张 自 然 想到 了 一 些 测试 想法 ， 并 记录 
如 下 。 在 他 了 解 更 多 实现 细节 后 ， 他 会 设计 并 执行 更 多 的 测试 。 


o 如 果 数 据 库 文件 丢失 或 损坏 ， 产 品 能 否 受 善 地 处 理 ? 


o 生词 本 的 词 条 有 没有 数量 的 限制 ? 如 果 有 限制 ， 上 限 是 多 少 ? 
如 果 没 有 限制 ， 大 量 的 词 条 会 不 会 导致 产品 性 能 下 降 ? 


o 生词 本 在 记录 词 条 时 ， 对 生词 的 长 度 有 没有 限制 ? 如 果 生 词 或 
词组 的 长 度 超过 了 限制 ， 产 品 能 否 妥善 地 处 理 ? 在 数据 库 设 计 
上 ， 还 有 没有 类 似 的 限制 ? 产品 又 如 何 处 理 超出 限制 的 情况 ? 


o PN AF ae TK Hee tit EIS SE TO AY BE BH PE TSE SS PRE H FE 
Ao Prim He a Be ee UN I Fe ? 


。 BingDict.exe 从 必 应 词典 的 安装 目录 加 载 了 一 些 动态 链接 库 ， 其 中 
包括 MFC 和 C 语 言 运 行 库 的 动态 链接 库 。 这 暗示 必 应 词典 2.0 版 用 






































C/C++ 编 号 ， 其 用 户 界 面 基于 MEFC。 小 张 记 录 该 发 现 ， 以 提示 自己 
在 今后 的 测试 中 关注 内 存 泄漏 、 绥 冲 区 溢出 、 甚 挂 指针 等 C/C++ 程 
序 的 常见 问题 。 


然后 ， 小 张 点 击 “ 描 述 ” 列 的 表 头 ， 让 动态 链接 库 列 表 按 照 其 描述 排序 ， 
获得 图 7-15 所 示 的 结果 。 按 描述 浏览 动态 链接 库 ， 有 助 于 快速 发 现 相 关 
的 组 件 ， 即 便 它们 位 于 不 同 的 目录 。 例 如 ， 图 7-15 显 示 必 应 词典 加 载 了 
IE 浏 览 器 的 动态 链接 库 (ieframe.dll、ieframe.dll.mui、wininet.dll、 
jscript.dll, jscript9.dll) 。 对 此 ， 小 张 记 录 了 一 组 测试 想法 。 











sechost dl Host for SCM/SDDL/LSA Lookup APis 6.2.9200. 16384 C:\Windows \Sys WOW 64\sechost.dil 

ieframe dil intemet Browser 10.0.9200.16519  C:\Windows\Sys WOW64\ieframe dl 

ieframe dll mui intemet Browser 10.0.9200.16384 C:\Windows\SysWOW64\en-US \eframe dil mui 
wininet dll Intemet Edensions for Win32 10.0.9200.16519 C:\Windows\SysWOW64\wininet dl 
IPHLPAPI.DLL IP Helper AP! 6.2.9200.16420 C:\Windows\Sys WOW64\IPHLPAPI_DLL 

winmm dil MCI API DLL 6.2.9200. 16384 C:\Windows\SysWOW64\winmm.dil 

mic100u.di MFCDLL Shared Library - Retail Version 10.0.40219.325 C:\Program Files (86)\Microsoft Bing Dictionary \mfc 
mshtmi dill Microsoft (R) HTML Viewer 10.0.9200.16525  C:\Windows\SysWOW64\mshtmi dil 

jscript .di Microsoft ® JScript 5.8.9200.16519 C:\Windows \Sys WOW 64 \script. .dl 

jscript9 dil Microsoft © JScript 10.0.9200.16519  C:\Windows\Sys WOW64 \jscript9 dil 





Al 7-15 按 描述 排序 的 必 应 词典 的 动态 链接 库 〈 局 部 ) 


。 当前 计算 机 的 操作 系统 是 windows 8， 必 应 词典 所 加 载 的 动态 链接 
库 属于 IE10。 在 Windows 7 和 更 早 的 操作 系统 上 ， 必 上 应 词典 能 否 正 
确 加 载 正 9、 正 8、 正 7 等 浏览 器 的 动态 链接 库 ? 


。 在 欧洲 销售 的 Windows 系 统 不 预 次 任何 浏览 器 。 如 果 必 应 词典 不 能 
加 载 正 的 动态 连接 库 ， 它 能 人 否 正 确 地 辐 用 户 报告 情况 ? 


。 在 默认 情况 下 ， 显 示 网 页 的 耻 10 进 程 的 完整 性 级 别 是 低 ， 这 有 助 于 
提高 操作 系统 的 安全 性 ， 并 保护 用 户 数 据 。 然 而 ， 必 应 词典 的 进程 
完整 性 是 中 ， 这 会 不 会 带 来 安全 性 风险 ? 


在 分 析 动 态 链接 库 时 ， 测 试 人 员 还 需要 留意 以 下 情况 。 


。 产品 所 加 载 的 动态 链接 库 可 能 被 其 他 软件 所 使 用 。 当 升级 这 些 软 
件 时 ， 动 态 链 接 库 可 能 被 升级 到 更 新 的 版 本 。 如 果 新 版 本 的 动态 链 
接 库 存在 回 后 兼容 的 缺陷 ， 被 测 产 品 可 能 发 生 故 障 。 此 外 ， 凶 载 这 
些 软件 可 能 删除 动态 链接 库 ， 从 而 导致 产品 不 能 正常 工作 。 测 试 人 
员 需 要 找到 并 记录 这 批 动 态 链 接 库 。 它 们 通常 位 于 Windows 目 录 
下 ， 其 发 布 者 不 是 微软 公司 。 根 据 这 些 动态 链接 库 ， 测 试 人 员 可 以 
定位 影响 它们 的 软件 ， 然 后 拟定 一 份 兼 容 性 测试 计划 。 该 测试 会 检 
































碍 产品 与 这 些 软件 的 主流 版 本 可 以 在 一 合计 算 机 上 共存 ， 并 且 和 它们 
的 安装 和 邮 载 不 会 破坏 彼此 的 功能 。 


。 产品 会 在 执行 过 程 中 动态 地 加 载 或 彼 载 动态 链接 库 。 测 试 人 员 可 
以 用 Windbg 等 工具 监视 产品 的 运行 ， 了 解 它 在 启动 之 后 又 加 载 了 
哪些 动态 链接 库 。 此 外 ， 在 执行 了 一 个 重要 的 操作 之 后 ， 测 试 人 员 
可 以 用 Process Explorer 观 察 产品 的 动态 链接 库 列 表 ， 发 现 新 增 的 动 
态 链接 库 。 这 些 链 接 库 通常 与 之 前 的 操作 紧密 相关 ， 是 测试 该 操作 
需要 考虑 的 因素 。 


任务 2; - 列 出 产品 打开 的 文件 


为 了 实施 文件 漫游 〈5.4.1 节 ) 、 基 于 文件 的 攻击 〈5.5.3 节 ) 和 了 解 产 品 
的 行为 ， 测 试 人 员 需 要 分 析 产 品 会 使 用 哪些 文件 。 

例如 ， 测 试 人 员 小 张 使 用 Process Explorer 来 分 析 必 应 词典 人 桌面 版 所 打开 
的 文件 。 他 在 Process Explorer 中 选择 进程 BingDict.exe， 按 下 组 合 键 
【Ctrl+H】 以 显示 该 进程 打开 的 句柄 。 他 浏览 如 图 7-16 所 示 的 文件 句 
柄 ， 获 得 了 一 些 测 试想 法 。 


File C:\Program Files &86)\Microsoft Bing Dictionary 








File C:\Program Files 86)\Microsoft Bing Dictionary\data \CN\CHS dat 

File C:\Program Files («86)\Microsoft Bing Dictionary \data\EN\ENG dat 

File C:\Users\Liang App Data \Local\Microsoft \Windows\ Temporary Intemet Files \Content.IE5\4K2FYSFi\ad_bde[1].htm 

File C:\Users \Liang\App Data \Local\ Microsoft \Windows\ Temporary Intemet Files \Content |E5\4K2FYSFi\clienthomepage[1}] htm 
File C:\Users\Liang\App Data \Local\ Microsoft \Windows\ Temporary Intemet Files Content IE5\4K2FYSFl\ehclinknew[1] him 

File C:\Users \Liang App Data \Local\Microsoft \Windows\ Temporary Intemet Files Content .JE5\SAYZ12YC\clientsearch[4] htm 
File C:\Users \Liang App Data \Local\Microsoft \Windows\ Temporary Intemet Files \counters dat 


图 7-16 Mi A CEE AIA Cat) 


。 BingDict.exe 打 开 了 CHS.dat 和 ENG.dat。 从 文件 名 和 文件 路 径 推 
测 ， 它 们 是 中 文 词汇 和 数 身 文 词汇 的 数据 文件 。 小 张 记录 该 发 现 和 
推测 ， 以 便 稍 后 回程 序 员 询 问 。 此 外 ， 他 还 记录 一 些 测试 想法 : 如 
果 数 据 文件 损坏 ， 必 应 词典 如 何 处 理 ? 如 果 数 据 文件 丢失 ， 必 应 词 
ee ey A ener ee 

LIF? 


。 BingDict.exe 打 开 了 IE 临 时 目录 中 的 一 些 网 页 。 之 前 的 分 析 显 示 ， 
必 应 词典 加 载 正 的 动态 链接 库 ， 所 以 小 张 推 测 必 应 词典 会 调用 焉 来 
显示 这 些 网 页 。 于是， 他 用 下 来 打开 这 些 文件 ， 实 验 结果 表明 





clienthomepage[1].htm 就 是 必 应 词典 的 默认 主页 (参见 图 7-17)〉 。 这 
提示 小 张 可 以 考虑 针对 网 页 的 测试 : 如 果 必 应 词典 收 到 错误 的 、 甚 
至 恶意 的 网 页 ， 最 严重 的 后 果 是 什么 ? 如果 必 应 词典 迟 迟 不 能 收 到 
网 页 ， 会 发 生 什 么 ? 会 不 会 出 现 只 有 一 部 分 网 页 被 显示 的 情况 ? 
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图 7-17 EKERI A 4K K clienthomepage[1].htm 
任务 3: 分 析 程 序 之 间 的 协作 关系 


一 些 软件 系统 包含 多 个 程序 ， 它 们 相互 协作 来 完成 任务 。 为 了 更 好 地 理 
解 系统 ， 测 试 人 员 需 要 了 解 组 成 系统 的 程序 ， 并 分 析 它 们 之 间 的 关系 。 


例如 ， 测 试 人 员 小 张 点 击 必 应 词典 虹 面 版 的 “ 取 词 ”( 该 命令 位 于 图 7-17 





的 右 下 角 ) ， 以 局 动 屏 磊 取 词 功 能 。 随 后 ， 他 在 Process Explorer 中 发 





现 ， 进 程 BingDict.exe 启 动 了 子 进程 WordCapture.exe， 后 者 又 启动 了 进 
程 FuncServer_ WDC_x64.exe 参见 图 7-18) 。 从 进程 的 名 字 推 测 ， 
WordCapture.exe 负 责 取 词 功 能 ，FuncServer_ WDC_x64.exe 处 理 64 位 进程 


的 取 词 。 


3 § BingDict exe |"C:\Program Files (86)\Microsoft Bing Dictionary\BingDict exe” 
-| 'a ` WordCapture exe arias Files &86)\Microsoft Bing Dictionary\WordCapture exe" (7A6890A4-209E-4A6D-8530-A9DA05B 1C05A) 
Bing Dictionary\WordCaptureX\FuncServer. 





图 7-18” 必 应 词典 为 “< 取 词 ”启动 子 进程 


然后 ， 小 张 再 次 点 击 “* 取 词 ”， 以 关闭 屏幕 取 词 功能 。 他 用 Process 
Explorer 发 现 ， 进 程 BingDict.exe 关 闭 了 进程 WordCapture.exe 和 
FuncServer WDC _ x64.exe。 为 了 了 解 更 多 的 信息 ， 小 张 启动 Process 
Monitors ， 接 着 再 次 执行 启动 屏幕 取 词 和 关闭 屏幕 取 词 的 操作 。 之 后 ， 
他 在 Process Monitor 中 按 下 组 合 键 【Ctrl+T】， 以 显示 进程 树 对 话 框 。 
图 7-19 是 该 对 话 框 的 局 部 ， 显 示 了 BingDict.exe 及 其 子 进程 的 生命 周期 。 
该 图 显示 了 这 些 进 程 的 开始 时 间 和 结束 时 间 ， 确 认 了 之 前 的 分 析 ， 即 
ee By Pee AM TAY GUE ERE, PES bee R ial IN 45 T 
进程 。 














8 http://technet.microsoft.com/es-ar/sysinternals/bb896645 。 


日 § BingDict exe (10760) NN RRR 4/7/2013 2:07:05 PM n/a 
日 $ WordCapture.exe (9244) Ez WordCapture 4/7/2013 2:09:41 PM 4/7/2013 2:10:10 PM 
® © FuncServer_WDC_x64.exe (5224) [i 4/7/2013 2:09:45 PM 4/7/2013 2:10:10 PM 


图 7-19 Process Monitor 显 示 了 进程 的 生命 周期 
基于 以 上 分 析 ， 小 张 记录 了 一 组 继续 调查 的 想法 。 


e 问 程 序 员 了 解 BingDict.exe、WordCapture.exe 和 
FuncServer_ WDC_x64.exe 的 通信 方法 。 


e 分 析 WordCapture.exe 和 FuncServer WDC_x64.exe 加 载 的 动态 链接 
FER 


e 分 析 WordCapture.exe 和 FuncServer _WDC _x64.exe 打 开 的 文件 句柄 。 
。 测试 对 64 位 进程 和 32 位 进程 的 取 词 。 


e 如 果 WordCapture.exe 衣 尝 ，BingDict.exe 会 如 何 处 理 ? 会 重启 该 进 
F? 


e 如 果 FuncServer WDC_x64.exe hn, WordCapture.exe 2 ùn {nj Ah FE ? 
会 重启 该 进程 吗 ? 


e 如 果 WordCapture.exe 陷 入 死 循 环 ，BingDict.exe 能 感知 该 情况 ， 并 


作出 合理 反应 吗 ? 


。 如 果 FuncServer_ WDC _x64.exe 陷 入 和 死 循环 ，WordCapture.exe 能 感知 
该 情况 ， 并 作出 合理 反应 吗 ? 


。 与 “ 取 词 ”并 列 的 “ 划 译 ”功能 会 让 BingDict.exe 局 动 子 进程 吗 ? 
。 必 应 词典 的 安装 目录 下 还 有 没有 其 他 可 执行 程序 ? 
任务 4: 分 析 客 户 问 与 服务 器 之 间 的 通信 


目前 ， 许 多 应 用 需要 访问 互联 网 资源 ， 需 要 与 服务 器 上 的 网 络 服务 通 
信 。 这 些 客户 端 应 用 可 能 是 网 络 浏 览 器 中 的 HTML/JavaScript 程 序 ， 也 
可 能 是 独立 运行 的 软件 。 了 解 它们 与 网 络 服务 的 通信 ， 将 帮助 测试 人 员 
理解 它们 的 运行 机 制 ， 并 从 网 络 通信 的 角度 产生 一 些 测 试想 法 。 


例如 ， 测 试 人 员 小 张 使 用 Web 调 试 代 理 Fiddler? 分 析 必 应 词典 桌面 版 
(2.0 版 ) 与 服务 器 的 通信 。 他 在 必 应 词典 的 查询 框 中 输入 单 

词 “rainbow”， 并 按 下 回 车 键 。Fiddler 捕 获 了 必 应 词典 的 请 求 和 服务 器 的 
响应， 其 结果 如 图 7-20 所 示 。 小 张 发 现 第 一 条 会 话 的 数据 流量 较 大 的 ， 
于 是 选中 该 会 话 ， 获 得 如 图 7-21 所 示 的 请 求 和 响应 的 细节 。 














9 http://www.fiddler2.com 。 


Result Protocol Host URL Body Caching Content-Type Process 
200 HTTP .bing.com /dict/dientsearch?mkt «zh-mSsetLang =match&form =BOVEHC Sq «rainbow 11,908 private text/html; c bingdict: 10760 
a4 204 HTTP www.bing.com /dict/ds.aspx?7Type =Event.Gientinst O private bingdct: 10760 


图 7-20 Fiddler 捕 获 的 必 应 词典 与 服务 器 的 通信 


| ® Statistics | $% Inspectors | 多 AutoResponder | = Composer | C] Filters | E Log | 二 Timeline | 
Headers | TextView | [ WebForms | HexView | Auth | Cookies | Raw JSON | xML | 








| rainbow 








Get SyntaxView | Transformer | Headers | TextView | ImageView  HexView [T webview | Auth | 


Caching | Cookies | Raw | JSON | XML 
Document is: 83669 bytes. 


rainbow 同义词 A 
US: { Tremn bou] UK: [rein bau] 
multicoloured 
$I 
(E) ee multicolored 
as 
colourful 
五 彩 药片 [药丸 ] 【一 种 巴 比 受 类 安眠 药 ] lorful 
(=rainbow pill) 人 
Wat rainbows vanegated 
sited es Š spectral 


polychromatic 





网 络 释义 KR . ; 
kaleidoscopic 
彩虹 
http://we baidu 


图 7-21 Fiddler 显 示 的 请 求 和 响应 


重 过 分 析 图 7-21， 小 张 了 解 了 必 应 词典 与 服务 器 通信 的 协议 ， 并 获得 了 
一 些 测试 想法 。 


。 必 应 词典 向 服务 器 (cn.bing.com/dict/〉 提 交 一 个 Web 表 单 ， 该 表单 
包含 用 户 查 询 的 单词 “rainbow”。 服 务 器 的 响应 是 一 个 HTML 页 面 ， 
该 页 面 是 对 “rainbow” 的 解释 。 由 先前 的 分 析 可 知 ， 必 应 词典 会 调用 
IE 的 动态 链接 库 来 显示 该 页 面 。 


。 在 实现 拷 术 上 ， 必 应 词典 2.0 版 与 1.7 版 有 显著 区 别 。 图 7-22 展 示 了 
1.7 版 的 请 求 和 啊 应 ， 其 中 所 查询 的 单词 是 software。1.7 版 发 送 的 请 
求 是 一 个 基于 XML 文档 的 SOAP 消 息 ， 包 含 被 查询 的 单词 。1.7 版 接 
收 的 响应 也 是 一 个 SOAP 消 息 ， 包 含 对 单词 的 解释 。 必 应 词典 需要 
解析 该 XML 文 档 ， 并 利用 Windows Form 技 术 来 显示 单词 解释 。2.0 
版 在 提交 请 求 时 用 表单 取代 了 SOAP 消 息 ， 在 处 理 响 应 时 用 了 和 








HTML 取 代 了 Windows Form 和 XML， 从 而 显 著 地 提高 了 软件 的 性 


ob 
HE o 


实现 技术 的 变化 暗示 项 目 团队 希望 必 应 词典 有 更 好 的 性 能 ， 因 此 需 
要 执行 性 能 测试 来 检验 新 设计 是 否 提高 了 性 能 。 重 点 测试 内 容 是 单 
词 查询 的 速度 ， 以 及 必 应 词典 对 计算 机 资源 的 占用 。 


从 测试 服务 絮 的 角度 ， 如 果 必 应 词典 发 送 的 请 求 是 错误 的 ， 服 务 器 
会 作 何 啊 应 ? 


。 如果 请 求 缺 少 一 些 必要 的 参数 ， 服 务 器 会 如 何 响应 ? 
o 如果 请 求 包含 额外 的 参数 ， 服 务 器 会 如 何 响应 ? 


o 如 果 请 求 提交 的 参数 值 包含 错误 如 空 值 、 很 长 的 字符 串 、 非 
法 字符 等 ) ， 服 务 怖 会 如 何 啊 应 ? 


© statistics [34 Inspectors | Æ AutoResponder | 本 Composer | [C] Fiters | 日 Log | = Timeline | 
Headers |[Textview | WebForms | HexView | Auth | Cookes | Raw | JSON | XML | 
<?xml version="1.0" encoding=“utf-8" 7><soap:Envelope 
mlns: soap="http:// schemas. xmlsoap. org/soap/envelope/” xmlns:xsi=“http://wew. w3. org/2001/XMLSchema-— 
instance” xmlns:xsd="http://www. w3. org/2001/RMLSchema" ><soap: Body><GetEditModeResult 
mlns="http://tempuri. ore/ ><_App>056F67CB81834 1 14954277 7CFB9D3D87</_App><marketLang>zh-cn 
</marketLang><targetLang>en-us</targetLang><query gwad etda </ query><defCount >5</defCount> 


</GetEditModeResult ></ soap: Body></soap:Envelope> 
ras [ST 8 Fe Co [aa 加 


Get SyntaxView | Transformer | Headers | TextView | ImageView | HexView | WebView | Auth | Caching | Cookes | Raw 
son |[xm | 
=} s:Envelope [ xmins:s=http://schemas.xmlsoap.org/soap/envelope/ ] = 
=) s:Body 
=} GetEditModeResultResponse [ xmins=http://tempuri.org/ ] 
=} GetEditModeResultResult [ xmins:a=http://schemas.datacontract.org/2004/07/Lingo.Service.Response xmins 
=} 3:LEX 
f=) a:C_DEF 
E a:SENS 
<a:DEF i:nil="true" xmins:i="http://www.w3.org/2001/XMLSchema-instance" xmins:a="http://s 
=} a:POS 
na 
=} a:SEN 
El a:SEN 


E a:D 
(电脑 的 ) 软 件 , 软 设备 ;程序 设备 ;语言 设备 ;程度 系统 ;设计 电脑 方法 ;计算 程序 
Ea:R 
0 
<a:STS i:nil="true" xmins:i="http://www.w3.org/2001/XMLSchema-instance" xmins:a=" 
<a:URL i:nil="true" xmins:i="http://vwww.w3.org/2001/XMLSchema-instance" xmins:a="I 


=} a:SENS v 
4 » 

















图 7-22” 必 应 词典 (1.7 版 〉 的 请 求 和 响应 


。 从 测试 必 应 词典 的 角度 ， 如 果 服 务 需 返回 的 啊 应 是 错误 的 ， 必 应 词 
典 会 作 何 处 理 ? 


。 如 果 服 务 器 不 返回 响应 ， 必 应 词典 的 请 求 超时 是 多 长 ? 超时 
后 ， 必 应 词典 如 何 向 用 户 报告 错误 ? 


o 如 果 返 回 的 响应 不 是 合法 的 HIML 页 面 ， 必 应 词典 如 何 处 理 ? 


o 必 应 词典 调用 正 来 显示 HTML 页 面 。 能 否 构造 一 个 HTML 页 
面 ， 使 得 显示 结果 或 显示 过 程 出 错 ? 


o 如 果 黑 客 动 持 了 啊 应 ， 它 能 舍利 用 跨 站 点 脚本 攻击 等 手段 来 攻 
击 用 户 ? 必 应 词典 有 没有 对 返回 的 HTML 页 面 进行 必要 的 安全 
HERA? 


任务 5: 分 析 产 品 的 性 能 


在 测试 过 程 中 ， 测 试 人 员 需 要 留意 产品 的 性 能 问题 。 一 旦 发 现 菜 个 操作 
会 导致 软件 反应 缓慢 或 失去 啊 应 ， 他 就 应 该 对 该 操作 进行 性 能 分 析 。 所 
获得 的 信息 不 但 有 利于 策划 完整 的 性 能 测试 ， 也 有 助 于 及 时 解决 性 能 问 
题 。 在 许多 时 候 ， 用 户 觉 得 产品 “很 慢 "， 并 不 是 因为 软件 的 所 有 操作 都 
很 迟钝 ， 而 是 一 些 关 键 操作 反应 缓慢 。 尽 早 地 发 现 主 流 场景 中 的 缓慢 操 
作 ， 有 利于 项 目 团队 制定 修复 计划 ， 调 整 软件 设计 来 优化 性 能 。 如 果 性 
ee en a eee ee 
性 能 优化 。 


分 析 性 能 的 工具 很 多 ， 测 试 人 员 应 该 根据 测试 对 象 、 测 试 任 务 、 期 望 获 
得 的 信息 ， 来 选择 合适 的 测试 工具 。 在 Windows 平 台 上 ，Windows 
Performance Monitor t? ~ Windows Resource Monitor!! ~ Windows 
Performance Toolkit? 是 常用 的 性 能 分 析 工 具 。 在 日 常 测试 活动 中 ， 测 
试 人 员 可 以 利用 一 些 轻 量 级 的 工具 ， 做 快速 的 性 能 分 析 。 例 如 ， 我 最 和 常 
用 的 性 能 分 析 工 具 是 跑 表 和 Process Explorer。 























o http://technet.microsoft.com/en-us/library/cc749249.aspx 。 


u http://msdn.microsoft.com/en-us/library/windows/desktop/aa372266(v=vs.85).aspx 。 


12 http://msdn.microsoft.com/en-us/library/windows/desktop/hh162945.aspx 。 


在 测试 过 程 中 ， 如 果 我 发 现 一 个 操作 较 慢 ， 我 会 拿 出 跑 表 对 其 计时 。 跑 
表 简 单 易 用 ， 能 够 快速 记录 一 个 操作 的 用 时 。 虽 然 它 不 适合 度量 快速 的 
软件 运算 ， 但 是 对 于 绝 大 多 数 用 户 可 感知 的 延迟 ， 它 能 够 提供 足够 精确 
的 计时 结果 。 倘 若 我 认为 该 操作 的 迟缓 是 一 个 性 能 问题 ， 我 会 执行 操作 
若干 次 ， 将 平均 用 时 写 入 缺陷 报告 。 对 于 缺陷 报告 而 言 ，“ 执 行 该 操作 5 
次 ， 平 均 用 时 15.5 秒 ， 最 长 用 时 17.2 秒 ” 比 * 改 操作 反应 迟钝 ， 用 时 超过 
10 秒 ”是 更 好 的 问题 描述 。 


除了 计时 ， 我 还 会 用 Process Explorer 监 视 进程 的 性 能 。 在 Process 
Explorer 中 ， 双 击 一 个 进程 ， 束 可 以 打开 它 的 属性 对 话 框 。 选 中 属性 对 
话 框 的 性 能 图 标签 页 ， 就 可 以 显示 该 进程 的 CPU、 内 存 、LIO (输入 与 
输出 ) 的 性 能 数据 。 我 使 用 Microsoft Word 编 写本 书 的 文稿 ， 图 7-23 是 
Process Explorer 记 录 的 Word 保 存 本 书 文 档 的 性 能 图 。 分 析 该 图 ， 我 可 以 
得 到 一 些 性 能 相关 的 事实 和 推测 。 


e 在 文档 保存 过 程 中 ，Word 的 CPU 使 用 率 的 峰值 是 25%6。 峰 值 区域 大 
致 可 以 分 成 三 段 ， 其 中 第 二 段 的 内 核 用 时 特别 高 ， 说 明 操作 系统 在 
这 段 时 间 很 忙碌 。 


测试 计算 机 的 CPU 有 4 个 内 核 ，25% 的 CPU 使 用 率 暗 示 文 档 保 存 操 
作 完 全 占据 了 1 个 内 核 。 因 为 Word 使 用 UI 线程 保存 文档 ， 所 以 UI 线 
程 在 这 段 时 间 忙 于 保存 操作 ， 不 能 响应 用 户 输入 。 对 于 用 户 而 言 ， 
Word 似 乎 失去 了 响应 ， 陷 于 “假死 状态 。 如 果 该 状态 持续 几 秒 的 时 
间 ， 用 户 就 会 感到 烦躁 和 不 安 。 


在 文档 保存 过 程 中 ，Word 的 内 存 占用 有 一 定 的 提升 ， 说 明 保 存 文 
档 需 要 额外 的 内 存 来 完成 任务 。 文 档 保存 结束 后 ，Word 会 释放 内 
存 ， 但 是 内 存 占用 量 并 没有 回 到 保存 之 前 的 水 平 。 通 常 ， 这 是 因为 
程序 使 用 了 绥 存 技术 ， 一 些 被 缓存 的 内 存 并 不 会 被 并 即 释 放 。 不 
过 ， 这 也 提示 我 检查 多 次 保存 文件 是 否 会 持续 提高 内 存 占用 量 ， 以 
致 于 影响 到 Word 和 计算 机 的 性 能 。 


在 保存 过 程 中 ，LILO 有 很 大 的 波动 ， 其 峰值 出 现在 CPU 峰值 的 第 三 
段 。 这 暗示 CPU 峰值 的 前 两 段 是 在 准备 输出 ， 第 三 段 才 是 真正 地 将 
数据 与 入 人 硬盘 。 当 CPU 峰值 结束 后 ，IO 仍 有 几 次 较 大 的 波动。 这 
音 示 Word 调 用 了 Windows 的 异步 输出 命令 ， 用 较 低 的 CPU 使 用 率 完 





























成 了 余下 的 输出 任务 。 


在 提交 性 能 缺陷 时 ， 我 会 考虑 附 上 类 似 图 7-23 的 性 能 图 。 这 有 助 于 更 直 
观 地 描述 软件 的 性 能 表现 ， 帮 助 程序 员 诊 断 性 能 问题 。 


Tom | Security | Environment | Stings 
| Image | Performance | Performance Graph GPU Graph | Threads | 


CPU Usage 
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图 7-23 Word 保存 文档 的 性 能 图 


动态 分 析 产 品 的 方法 和 工具 是 多 种 多 样 的 。 本 节 仅 讨论 了 少数 几 种 实践 
方法 ， 更 多 的 分 析 技术 和 工具 有 待 测 试 人 员 在 具体 的 测试 活动 中 探索 。 
由 本 节 的 讨论 不 难看 出 ， 合 理 地 使 用 工具 ， 可 以 快速 地 了 解 产 品 的 设 
计 ， 提 高 与 程序 员 交 流 的 效率 ， 并 实施 更 有 效 地 测试 。 


7.2.2 ”在 调试 器 中 观察 软件 行为 


7.1 节 讨论 了 在 不 运行 软件 的 情况 下 通过 分 析 源 代码 来 理解 软件 设计 ， 
7.2.1 节 介绍 了 在 不 参考 源 代码 的 情况 下 通过 工具 来 了 解 软件 实现 。 本 市 
E a ree ety reer 
次 件 行为 。 





软件 实现 往往 是 复杂 的 ， 静 态 地 阅读 代码 有 时 不 能 完全 掌握 软件 的 动态 
行为 。 利 用 调试 右 监 控 软件 的 运行 ， 将 实际 执行 的 控制 流 、 数 据 流 和 源 
代码 结合 起 来 ， 能 够 更 快 地 理解 设计 ， 有 事半功倍 之 效 。 对 于 难以 理解 
的 代码 ， 测试 人 员 可 以 用 调试 器 设置 断 上 ， 在 程序 执行 命中 断 点 后 ， 用 
单 步 执行 的 方式 来 观察 执行 语句 序列 和 变量 取 值 的 变化 。 这 样 能 获得 设 
计 的 细 市 信息 ， 为 进一步 的 探索 和 测试 提供 信息 。 


例如 ， 测 试 人 员 小 张 为 了 深入 了 解 NUnit 的 约束 ， 决 定 调试 单元 测试 用 
例 Al1l1ItemsAreNotNull 。 他 使 用 Visual Studio 2012 在 单元 测试 的 第 一 
条 语句 设置 断 点 ， 然 后 运行 测试 ， 详 细 情 况 请 参考 图 7-24。 随 后 ， 他 单 
步 执行 程序 ， 重 点 关注 表达 式 Is .Not .Null 、 构 造 函 

数 Al11ItemsConstranit 和 断言 函数 Assert.That 的 实现 。 
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图 7-24 使 用 Visual Studio 调 试 NUnit 代 三 


在 单 步 执行 Is .Not.Null 的 过 程 中 ， 小 张 阅读 了 属性 Not 、 属 性 Null 
的 实现 代码 ， 详 情 参 见 图 7-25。 由 这 些 代码 ， 他 了 解 到 Is .Not.Null 会 
返回 一 个 约束 表达 式 对 象 ， 该 对 象 包含 NotOperator 和 Nu110perator 


/// <summary> 
/// Returns a ConstraintExpression that negates any 
/// following constraint. 
/// </summary> 
public ConstraintExpression Not 
{ 
get { return this.Append(new NotOperator()); } 


} 


/// <summary> 

// Returns a constraint that tests for null 
/// </summary> 
public NullConstraint Null 


{ 


get { return (NullConstraint)this.Append(new NullConstraint()); } 


} 


/// <summary> 

/// Appends an operator to the expression and returns the 
/// resulting expression itself. 

/// </summary> 

public ConstraintExpression Append(ConstraintOperator op) 


{ 
builder. Append(op); 
return (ConstraintExpression)this; 


} 
图 7-25 Is.Not.Null 的 实现 代码 (摘录 ) 


在 单 步 执行 构造 函数 Al1l1ItemsConstraint 的 过 程 中 ， 小 张 阅读 了 
AllItemsConstraint 的 父 类 PrefixConstraint 的 构造 函数 和 
ConstraintExpress.Resolve 的 实现 代码 ， 详 情 参 见 图 7-26。 这 些 代 
码 说 明 AllItemsConstraint 通过 调用 函数 Resolve 将 约束 表达 式 对 
象 (Is.Not.Null 的 返回 值 ) 转化 为 约束 对 象 。Resolve 的 实现 利用 
操作 符 栈 来 归并 生成 约束 对 象 。 该 设计 类 似 于 惰性 初始 化 ， 即 构造 约束 
表达 式 Is.Not.Nu1l1l 时 并 不 生成 约束 对 象 ， 直 到 构造 具体 的 约束 对 象 
时 ， 才 转换 表达 式 。 


public class AllItemsConstraint : PrefixConstraint 


{ 


public AllItemsConstraint(Constraint itemConstraint) 
: base( itemConstraint ) 


{ 


this.DisplayName = "all"; 


} 


protected PrefixConstraint(IResolveConstraint resolvable) : base(resolvable) 


{ 


if ( resolvable != null ) 
this.baseConstraint = resolvable.Resolve(); 


public Constraint Resolve() 


{ 
if (!IsResolvable) 
throw new InvalidOperationException("A partial expression may not be resolved"); 


while (!ops.Empty) 
{ 


ConstraintOperator op = ops.Pop(); 
op.Reduce(constraints) ; 


} 


return constraints.Pop(); 


} 


图 7-26 AllItemsConstraint 的 构造 函数 调 
用 ConstraintExpress.Resolve 来 获得 Constraint 对 象 


在 单 步 执行 Assert.That 的 过 程 中 ， 小 张 阅读 了 函数 That 和 
AllItemsConstraint.Matches 的 实现 代码 ， 详 情 参 见 图 7-27。 上 断言 
pk Assert. That 会 调用 AllItemsConstraint.Matches 来 检查 传 入 
的 可 迭代 对 象 〈 在 当前 执行 的 单元 测试 中 该 对 象 是 一 个 数组 ) ， 

而 AllItemsConstraint.Matches 会 使 用 约束 (Is.Not.Null ) 来 检 
查 可 和 迭代 对 象 所 以 返回 的 每 一 个 元 素 。 


static public void That(object actual, IResolveConstraint expression, string message, params object[] args) 
Constraint constraint = expression.Resolve(); 


Assert. IncrementAssertCount() ; 

if (!constraint.Matches(actual)) 

{ 
MessageWriter writer = new TextMessageWriter(message, args); 
constraint .WriteMessageTo(writer) ; 
throw new AssertionException(writer.ToString()); 
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} 
public override bool Matches(object actual) 
f 

this.actual = actual; 


if ( !(actual is IEnumerable) ) 
throw new ArgumentException( "The actual value must be an IEnumerable", “actual” ); 


foreach(object item in (IEnumerable)actual) 
if (!baseConstraint.Matches(item)) 
return false; 


return true; 


图 7-27 断言 函数 Assert .That 的 实现 


经 过 以 上 调试 步 台 ， 小 张 了 解 了 约束 和 断言 函数 的 实现 技术 。 昌 然 他 没 
有 检查 所 有 的 约束 和 断言 代码 ， 但 是 他 根据 这 个 实例 能 够 体会 整体 的 设 
计 方 案 和 具体 的 设计 模式 。 这 些 知识 能 帮助 他 举一反三 地 理解 相关 代 
码 ， 提 高 未 来 的 静态 分 析 和 动态 分 析 的 效率 。 


通过 调试 来 理解 代码 之 所 以 高 效 的 一 个 原因 是 ， 调 试 过 程 使 代码 分 析 处 

于 一 个 具体 的 语 境 中 。 在 调试 中 ， 测 试 人 员 明 确 地 知晓 代码 的 输入 值 、 

程序 的 状态 和 期 望 完成 的 任务 。 这 使 得 分 析 过 程 目标 清晰 、 语 义 明确 、 

易于 操控 。 此 外 ， 调 试 让 处 于 不 同 目录 和 文件 的 代码 按 代 码 执 行 顺序 出 
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在 产品 研究 过 程 中 ， 静 态 分 析 和 动态 分 析 需 要 相互 支持 。 以 下 三 项 活动 
通常 是 达 代 进行 的 ， 并 没有 固定 的 执行 顺序 。 一 项 活动 所 获得 的 信息 会 
指引 为 一 项 活动 进行 更 深入 或 更 党 泛 的 调查 研究 。 


。 评 态 地 分 析 源 代码 ， 以 理解 产品 设计 ， 并 产生 测试 想法 和 调 伍 目 
标 。 





。 使 用 工具 分 析 产 品 的 行为 ， 以 研究 产品 的 动态 行为 ， 并 产生 测试 想 
法 和 调查 目标 。 


。 使 用 调试 器 等 工具 动态 地 分 析 源 代码 ， 以 理解 产品 设计 ， 并 产生 测 
试想 法 和 调查 目标 。 


调试 器 的 妃 一 个 种 见 用 途 是 分 析 测 试 执行 是 否 履 兰 特 定 的 代码 。 例 如 ， 
测试 人 员 需 要 测试 一 个 产品 补丁 。 为 了 检查 他 的 测试 用 例 可 以 履 盖 到 变 
更 的 代码 ， 他 在 调试 硕 中 局 动产 品 ， 在 修改 处 设置 断 点 。 如 有 果断 点 航 命 
中 ， 他 知道 测试 用 例 窗 盖 了 代码 变更 。 如 果断 点 没有 被 命中 ， 他 知道 测 
试 设计 有 缺点 ， 需 要 改进 。 在 测试 过 程 中 ， 他 使 用 调试 器 来 获得 测试 反 
饥 ， 从 而 快速 地 调整 测试 设计 ， 并 确保 履 兰 所 有 被 修 改 的 代码 。 典 型 的 
代码 上 禾 盖 率 分 析 要 求 代 码 插 桩 和 轿 兰 率 分 析 工 具 ， 对 于 补丁 测试 等 任务 
可 能 不 够 方便 。 使 用 调试 器 可 以 快速 分 析 少 量 代码 的 测试 履 兽 率 ， 在 一 
些小 规模 的 测试 任务 中 可 以 发 挥 好 的 作用 。 

















73 ”业务 研究 


语 境 驱 动 测试 认为 ， 产 品 是 一 种 解决 方案 。 如 果 问 题 没 有 被 解决 ， 产 品 
就 是 无 用 的 。[ContextDrvienTesting12]。 -o 测试 人 员 需 
| 地 解决 的 问题 )》， 并 分 析 产 品 设计 如 何 满足 

务 需 求 〈 产 品 所 给 出 的 解决 方案 ) 。 EANA AUER. 需求 、 
We RAIL ME 以 帮助 测试 人 员 更 好 地 实施 测试。 


7.3.1 理解 关系 人 
关系 人 是 软件 的 利益 相关 者 ， 包 括 软 件 产品 的 购买 者 、 使 用 者 、 开 发 
者 、 维 护 者 、 销 售 者 、 管 理 者 等 。 表 7-2 列 举 了 典型 的 软件 关系 人 和 他 
们 对 软件 质量 的 期 望 。 


表 7-2 典型 的 软件 关系 人 


























对 软件 质量 的 期 : 























rT 用 户 希望 软件 可 以 帮助 他 实现 个 人 目标 ， 重 
we 视 软件 的 能 力 、 易 用 性 、 魅 力 、 性 能 等 3 











客户 是 购买 软件 的 人 。 对 于 个 人 

AAP, ae eS EL 客户 希望 软件 可 以 帮助 团队 实现 业务 目标 。 
对 于 企业 用 户 ， 通 党 是 业务 主管 | 除了 用 户 看 重 的 质量 属性 外 ， 客 户 会 重视 软 
a 件 的 价格 、 可 靠 性 、 售 后 支持 等 
































在 企业 中 ，IT 管 理 员 负责 部 署 、 yy 本 B coe 
oa 时 员 希 望 软件 可 以 方便 地 部 署 与 维护 ， 
Fe MEMAPAR | 重视 软件 的 易 部 署 性 、 可 监控 性 、 安 全 性 等 
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方 | sweat 人 并 | 开发 人 员 希 望 钦 件 提供 稳定 、 丰 富 、 易 用 的 
开 | 汪 多 软件 提供 编程 粒 品 ， 允 六 其 | 编程 接口 和 充分 的 文档 。 他 们 还 希望 ， 当 软 
R 二 件 升级 时 ， 编 程 接口 可 以 向 后 兼容 

人 

员 




















程序 员 PRAAN N 
灵活 、 可 重 构 ， 架 构 清 晰 、 









































人 Pee a ee 能 够 方便 
测试 人 员 是 测试 软件 的 人 地 控制 软件 的 行为 、 观察 它 的 状态 和 输出 ， 
易于 编写 自动 化 测试 、 易 于 审计 和 追踪 





























管理 人 员 希 望 软件 可 以 达成 项 目 团队 的 业务 
里 软件 开发 的 人 目标 ， 这 通常 体现 为 用 合理 的 成 本 、 恰 当 的 
进度 ， 发 布 足够 好 的 软件 



















































































exer 
理 
人 
=i 
W 





E 对 于 互联 网 应 用 ， 运 维 人 员 维 护 “| 与 IT 管理 人 员 相 似 ， 运 维 人 员 重 视 软 件 的 易 
在 线 系统 部 加 性 、 易 升级 性 、 可 监控 性 、 安 全 性 等 


























支持 人 员 和 希望 软件 易于 使 用 、 稳 定 可 靠 ， 使 
支持 人 员 通 过 电话 、 论 坛 、 即 时 ”| 用 户 不 必 导 求 技术 支持 。 他 们 还 希望 ， 当 软 
i 有 具 回 用 户 提供 软件 | 件 出 现 问题 时 ， 它 能 够 提供 足够 多 的 诊断 信 
AI 告 方法 ， 以 便于 调试 和 修 















































销售 人 员 和 希望 软件 有 足够 的 卖点 ， 从 而 在 油 
人 
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B 不 同 的 人 对 于 软件 的 质量 属性 有 不 同 的 期 望 ， 表 7-2 只 讨论 了 几 种 典型 的 质量 属性 。 有 关 质 
量 属 性 的 更 详细 讨论 请 参考 3.2.9 节 和 4.2.1 节 。 


—= 






































为 了 让 软件 产品 获得 成 功 ， 项 目 团队 需要 理解 软件 关系 人 的 类 型 ， 设 定 
为 他 们 服务 的 优先 级 ， 使 所 开发 的 产品 以 恰当 的 优先 级 满足 他 们 的 需 
求 。 对 于 测试 人 员 而 言 ， 他 需要 用 关系 人 的 视角 考察 软件 ， 针 对 他 们 的 
需求 提供 软件 的 质量 信息 。 


3.2.8 节 介绍 了 The Test Eye 发 布 的 “37 个 测试 想法 来 源 ”[TheTestEyel2]。 
这 篇 文档 提示 测试 人 员 从 以 下 5 个 方面 思考 “关系 人 ”， 以 产生 测试 想 
La 


。 用户 : 分 析 使 用 软件 产品 的 不 同类 型 的 用 户 ， 了 解 他 们 对 软件 的 
期 望 、 需 要 完成 的 任务 、 所 有 具备 的 技能 水 平 、 使 用 软件 的 语 境 等 信 
上 息 。 这 帮助 测试 人 员 多 角度 地 考虑 产品 的 使 命 和 任务 ， 并 建立 有 代 
表 性 的 “用 户 角色 ”( 人 参见 5.6.2 节 ) 。 


质量 特性 : 分 析 产 品 需要 重点 文 持 的 质量 特性 ， 并 拟定 测试 策略 
来 检查 这 些 特性 。 








: 分 析 关 系 人 使 用 产品 的 情景 ， 以 设计 情景 测试 〈 参 见 
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领域 信息 : 了 解 关系 人 的 领域 信息 ， 包 括 他 们 要 解决 的 业务 问 
题 、 使 用 软件 的 环境 、 常 面临 的 困难 等 “参见 7.3.5 市 )。 通 过 访 
谈 、 会 议 、 电 话 、 邮 件 等 方式 直接 交流 ， 能 够 更 好 地 理解 天 系 人 的 
动机 、 任 务 和 想法 。 


在 测试 过 程 中 ， 测 试 人 员 需 要 持续 思考 这 些 因 素 。 这 可 以 帮助 他 更 好 地 
理解 产品 ， 并 产生 多 样 化 的 测试 想法 。 以 下 是 一 些 实践 要 点 。 


© 在 项 目 之 初 ， 测 试 人 员 并 不 深刻 地 理解 产品 和 项 目 。 此 时 ， 分 析 
关系 人 的 目标 是 大 致 理解 产品 的 远景 和 功能 ， 了 解 最 重要 的 关系 
人 ， 以 及 他 们 最 重视 的 情景 和 质量 特性 。 基 于 这 些 知 识 ， 测 试 人 员 
会 获得 一 批 测 试想 法 ， 为 深入 测试 左 定 基础 。 


。 随 着 项 目 进 展 ， 测 试 人 员 会 逐渐 掌握 更 多 的 产品 知识 和 业务 知识 
。 他 将 这 些 知识 放 入 关系 人 的 语 境 ， 用 关系 人 的 视角 推 项 产 品 ， 从 


而 产生 一 些 新 的 测试 想法 。 因 为 这 些 测试 想法 参考 了 关系 人 的 情景 
和 期 望 ， 所 以 能 够 更 加 真实 地 检验 产品 在 用 户 环 境 中 的 表现 。 


。 在 软件 发 布 后 ， 测 试 人 员 会 陆续 收 到 一 些 来 自用 户 的 缺陷 报告 。 
他 需要 分 析 为 什么 测试 活动 没有 捕获 到 这 些 缺 了 史 ， 并 了 解 用 户 发 现 
ne ie rere nee eee 
来 的 测试 。 


在 测试 实践 中 ， 吃 狗 食 ， 即 大 规模 内 部 使 用 ， 是 一 种 从 软件 使 用 者 的 角 
度 获 取 产 品质 量 信 息 的 方法 。 所 谓 “ 吃 自己 的 狗 食 ”是 指 软件 项 目 团队 在 
日 常 工作 中 使 用 自己 开发 的 产品 [WikipediaDogfooding13]。 例 如 ， 微 软 
的 Windows 团 队 会 使 用 开发 中 的 Windows 系 统 。 团 队 成 员 定 期 将 新 版 本 
的 系统 安装 在 自己 的 计算 机 上 ， 将 它 作 为 工作 平台 ， 完 成 编码 、 测 试 、 
协作 等 所 有 工作 。 又 例如 ， 人 谷歌 公 司 的 员工 会 安装 最 新 版 的 Chrome 浏 
览 占 ， 用 它 网 络 冲 浪 ， 以 提供 第 一 时 间 的 质量 反馈 。 在 浏览 器 经 历 了 中 
够 的 内 部 使 用 后 ， 他 们 会 发 布 公开 版 本 给 外 部 用 户 使 用 [Whittaker12]。 


内 部 使 用 是 一 项 很 有 价值 的 开发 实践 ， 它 可 以 在 许多 方面 提高 开发 过 程 
和 软件 产品 的 质量 。 


因为 大 量 员 工 使 用 产品 ， 所 以 内 部 使 用 可 以 发 现 许 多 小 组 测试 难 
以 发 现 的 缺陷 。 例 如 ，Windows 团 队 有 数 千 名 员工 ， 他 们 在 使 用 
Windows 系 统 时 ， 会 利用 多 种 多 样 的 硬件 设备 ， 安 装 形形色色 的 软 
件 ， 以 近 然 不 同 的 方式 进行 工作 。 这 有 助 于 发 现 一 些 特殊 配置 和 特 
殊 操 作 才 能 暴露 的 缺陷 。 


因为 使 用 者 在 利用 产品 完成 实际 任务 ， 所 以 内 部 使 用 有 助 于 发 现 
些 真 实情 景 所 暴露 的 缺陷 。 现 实 世 界 是 非常 复杂 的 ， 用 户 使 用 
软件 的 方式 和 需要 处 理 的 数据 往往 超 乎 测试 人 员 的 想象 。 大 规模 的 
使 用 让 软件 经 受 真实 世界 的 考验 ， 有 助 于 发 现 一 些 “ 极 端 情况 ”( 有 
时 用 户 的 “常见 情景 ”可 能 是 软件 设计 的 “ 极 并 情况 ”) 中 所 暴露 的 缺 


陷 。 


内 部 使 用 让 整个 研发 团队 参与 到 质量 反馈 过 程 中 ， 让 每 个 人 都 可 
以 提交 缺陷 和 建议 ， 从 而 潜移默化 地 提高 了 团队 的 质量 意识 。 因 
此 ， 有 经 验 的 团队 领导 会 或 励 所 有 团队 成 员 参 与 内 部 使 用 ， 并 以 号 
作 则 地 使 用 软件 、 提 交 缺 陷 和 建议 。 















































。 内 部 使 用 要 求 员 工 安 装 尚 未 发布 的 最 新 版 本 的 软件 ， 这 潜在 要 求 
软件 的 大 部 分 构建 达到 “可 用 ”的 标准 ， 不 存在 频 蚂 有 衣 尝 、 工 作 尝 
中 断 等 严重 的 缺陷 。 项 目 团队 应 该 将 该 要 求 视 为 质量 改进 的 动 
力 ， 用 多 种 方法 来 提高 所 提交 代码 的 质量 ， 并 通过 持续 集成 和 目 动 
化 测试 来 尽快 发 现 严 重 的 缺陷 。 


内 部 使 用 对 软件 开发 过 程 提出 了 更 高 的 要 求 。 项 目 团 队 需 要 持续 
地 构建 出 足够 好 的 产品 ， 用 恰当 地 方式 将 软件 推送 给 内 部 用 户 ， 实 
现 故障 诊断 工具 以 上 自动 地 收集 软件 月 湿 、 进 程 死 锁 等 严重 问题 ， 提 
供 方便 的 渠道 让 内 部 用 户 提 交 人 缺陷 和 建议 ， 建 立 缺 陷 分 拒 流 程 让 用 
户 提 区 的 问题 得 到 调 碍 和 修复 。 为 了 达成 这 些 目标 ， 项 目 团队 需要 
0 E nr ape 
循环 。 


由 以 上 讨论 可 知 ， 内 部 使 用 需要 整个 项 目 团队 的 文 持 ， 并 对 开发 流程 和 
软件 技术 提出 了 相应 的 要 求 。 在 此 过 程 中 ， 测 试 小 组 的 典型 任务 包括 用 
目 动 化 测试 监控 构建 的 质量 、 安 效 并 使 用 软件 、 提 交 人 缺陷 、 复 现 他 人 所 
交 的 缺陷 、 提 供 更 多 的 质量 信息 等 。 从 理解 用 户 的 角度 ， 测 试 人 员 在 使 
用 软件 的 时 候 ， 除 了 关注 软件 骨 溃 、 功 能 失常 等 明显 缺陷 外 ， 还 需要 分 
析 软 件 在 用 户 情景 中 的 表现 。 在 使 用 软件 完成 日 常 工作 时 ， 他 会 主动 使 
用 软件 的 蜗 级 功能 和 口 级 设置 ， 并 尝试 用 多 种 方式 来 操作 软件 。 经 过 一 
段 时 间 的 “把 玩 ”， 他 能 够 较 完整 地 理解 软件 的 能 力 ， 并 对 软件 如 何 解 决 
用 户 的 问题 形成 目 己 的 见解 。 


内 部 使 用 的 潜在 问题 是 项 目 团队 成 员 通 常 不 是 最 终 用 户 ， 或 不 能 代表 所 
有 的 用 户 ， 所 以 内 部 使 用 仍 有 可 能 会 错过 一 些 明显 的 缺陷 。 例 如 ， 和 人 微软 
Office 团 队 内 部 使 用 开发 中 的 Office 套 装 ， 虽 然 有 数 千 人 使 用 Microsoft 
Word， 但 是 该 过 程 仍 存在 以 下 不 足 。 


。 微软 的 工作 语言 是 英语 ， 所 以 员工 之 间 用 英文 文 要 和 邮件 进行 交 
流 。 内 部 使 用 对 英语 文档 、 瑞 文 输入 、 英 语 版 Word 有 较 好 的 顽 
盖 ， 但 是 并 没有 很 好 地 用 冀 到 多 语言 文档 、 多 语言 输入 、 加 载 语言 
包 的 Word、 非 英语 版 Word 等 情况 。 考 虑 到 Office 和 套装 文 持 数 十 种 语 
和 
































。 微软 员工 所 编写 的 大 多 是 商业 备 二 录 、 规 格 说 明 、 设 计 方 案 、 测 试 
计划 等 技术 性 较 强 、 篇 幅 较 短 的 文 要 ， 它 们 没有 上 履 盖 许多 重要 的 文 








档 类 型 和 排版 需求 。 例 如 ， 科 研 工作 者 撰写 的 学 术 论 文 要 求 精 确 的 
排版 ， 并 包含 大 量 的 数学 符号 、 数 学 公式 、 图 、 表 、 交 叉 引 用 、 参 
考 文献 等 元 系 。 领 域 专家 编写 的 学 术 专 著 可 以 视 为 大 部 头 的 学 术 论 
TR 


。 许多 企业 和 开发 者 基于 Word 提 供 的 API 编 写 了 大 量 的 宏 应 用 和 Word 
插件 。 铀 软 的 内 部 使 用 不 能 履 盖 这 批 被 广泛 使 用 的 应 用 和 插件 。 


为 了 弥补 内 部 使 用 在 窗 盖 京 上 的 不 足 ， 许 多 软件 团队 会 发 布 外 部 试用 的 
Beta 版 本 ， 从 而 更 广泛 地 收集 产品 的 质量 有 反馈。 不 过 ， 测 试 小 组 并 不 能 
完全 依赖 外 部 试用 来 发 现 软件 缺 陷 。 他 们 应 该 评估 已 执行 测试 和 内 部 使 
用 的 履 盖 范围 ， 然 后 针对 特定 用 户 角 色 设 计 一 些 专项 测试 。 例 如 ， 
Word 的 测试 小 组 可 以 考虑 如 下 测试 活动 。 


。 测试 小 组 邀请 母语 不 是 英语 (如 中 文 、 日 语 、 西 班 牙 语 等 ) 的 员工 
参与 为 期 一 天 的 国际 语言 测试 。 测 试 组 织 者 提供 测试 指南 ， 让 测试 
参与 者 使 用 母语 编写 一 份 包含 指定 内 容 元 素 〈( 如 表格 、 图 片 、 艺 术 
字 、 超 链接 等 ) 的 文档 。 测 试 参与 者 使 用 母语 配合 其 他 语言 编写 文 
档 ， 利 用 各 种 困难 的 任务 来 挑战 软件 。 这 样 的 测试 活动 可 以 在 项 目 
周期 中 实施 数 次 ， 以 扩大 测试 所 履 盖 的 语言 和 文档 类 型 。 


。 测 试 小 组 安排 测试 人 员 针 对 特定 的 用 户 角色 和 文档 类 型 进行 测试 。 
例如 ， 一 名 测试 人 员 扮演 数学 教授 ， 编 写 一 篇 数学 论文 ， 同 时 另 一 
名 测试 人 员 扮 演 维基 百科 的 编辑 ， 编 写 一 个 名 人 的 词 条 。 测 试 组 织 
者 需要 精心 设计 用 户 角色 和 待 编写 文档 ， 以 便 测试 人 员 可 以 用 差异 
化 的 视角 来 检查 软件 。 


忆 之 ， 研 究 关 系 人 是 为 了 更 好 地 理解 软件 的 使 命 ， 通 过 提供 质量 信息 来 
提高 软件 对 于 关系 人 的 价值 。 为 此 ， 测 试 人 员 需 要 识别 重要 关系 人 ， 
用 “ 同 理 心 ” 去 理解 他 们 的 目的 和 需求 ， 并 将 相关 知识 运用 于 测试 实践 。 


7.3.2 ”评审 需求 文档 

软件 需求 包括 项 目 团队 记录 的 显 式 需求 和 没有 被 正式 记载 的 隐 式 需求 。 
测试 人 员 需 要 关注 这 两 种 需求 ， 才 能 做 好 测试 工作 。 需 求 文档 通常 是 显 
式 需 求 最 主要 的 载体 ， 值 得 测试 人 员 认 真 研 究 。 本 节 介 绍 一 些 分 析 需 求 
文档 的 方法 和 技巧 。 
































在 许多 项 目 团队 ， 典 型 的 开发 流程 是 产品 经 理 编 写 需求 文档 ， 来 概述 关 
系 人 对 产品 的 需求 ， 并 详细 定义 产品 的 功能 和 特性 。 之 后 ， 程 序 员 根据 
需求 文档 编写 设计 文档 ， 测 试 人 员 参 考 需 求 文 档 和 设计 文档 编写 测试 计 
划 。 因 此 ， 需 求 文档 是 测试 计划 的 基本 参考 资料 ， 需 求 文档 评审 是 测试 
设计 的 重要 环 市 。 


为 了 从 需求 文档 中 获得 尽 可 能 多 的 价值 ， 测 试 人 员 需 要 “以 输出 驱动 输 
入 ”， 即 用 一 组 预期 的 评审 结果 来 指引 阅读 和 分 析 。 带 大 目 标 阅 读 可 以 
调动 思维 ， 让 测试 人 员 更 积极 地 研究 需求 文档 ， 从 而 提高 评审 效率 。 对 
于 大 多 数 需 求 文档 ， 测 试 人 员 可 以 参考 如 下 结果 来 驱动 需求 文档 评审 。 


。 需求 文档 的 缺陷 。 

。 产品 的 测试 模型 。 

。 测试 想法 和 值得 调查 的 疑问 。 

驱动 力 1: 评审 需求 文档 需要 发 现 需 求 文档 的 错误 或 不 足 

测试 人 员 应 该 一 边 阅 读 文 档 ， 一 边 标 记 和 评注 所 发 现 的 问题 。 然 后 ， 他 
会 与 产品 经 理 讨 论 这 些 问 题 ， 让 错误 得 到 修正 ， 让 误解 得 到 澄清 。 如 果 
必要 ， 他 会 将 一 些 问题 提交 为 文档 缺陷 。 

关于 如 何 批判 性 地 阅读 文档 ，Mortimer J. Adler 和 Charles Van Doren 的 经 


典 名 闭 《 如 何 阅读 一 本 书 》 提 供 了 一 些 很 好 的 建议 [Adler72]。 测 试 人 员 
可 以 参考 “结构 一 主张 一 评估 ?的 阅读 步骤 ， 来 评审 需求 文档 。 


批判 性 阅读 的 第 一 步 是 了 解 文档 的 结构 和 主旨 。 测 试 人 员 快 速 地 浏览 
文档 ， 获 得 对 文档 的 整体 印象 ， 为 深入 阅读 建立 知识 结构 。 对 于 一 篇 十 
儿 页 的 文档 ， 快 速 阅读 只 需要 十 分 钟 的 时 间 ， 基 本 态度 是 “不 求 甚 解 ”， 
基本 方法 是 “提纲 者 领 "*。 在 阅读 中 ,测试 人 员 可 以 略 过 大 部 分 内 容 ， 只 
关注 一 些 重 点 对 象 。 


。 摘要 。 大 部 分 需求 文档 在 开头 综述 了 要 解决 的 问题 、 要 达成 的 目 
标 。 阅 读 此 类 摘要 性 的 文字 可 以 立即 了 解 文 档 的 讨论 重点 。 


。 章 市 标题 。 标 题 概述 了 章节 的 内 容 ， 标 题 的 层级 关系 表达 了 内 容 
之 间 的 隶属 关系 。 浏 览 标题 让 测试 人 员 了 解 文档 论述 了 什么 ， 以 及 

















用 什么 结构 来 论述 。 

。 目标 和 非 目 标 。 许 多 文档 模板 提供 了 “目标 和 非 目 标 ” 一 节 ， 让 文 
档 撰写 者 陈述 该 文档 需要 解决 的 问题 和 不 会 涉及 的 问题 。 阅 读 该 市 
有 助 于 测试 人 员 了 解 文档 的 主旨 。 


。 图 。 许 多 文档 用 图 描述 了 模块 设计 、 系 统 结构 、 人 机 界面 等 重要 


信息 。 而 且 ,“ 一 图 胜 千言 >， 图 可 以 用 一 目 了 然 的 方式 传达 大 量 的 
信息 。 读 图 能 够 帮助 测试 人 员 用 较 短 时 间 把 握 整 体 设计 和 必要 细 
Ha 





。 代码 示例 。 一 些 涉及 实现 细节 的 需求 文档 会 给 出 代码 片段 。 阅 读 
这 些 代 码 可 以 快速 了 解 目标 代码 的 设计 风格 和 实现 策略 。 


阅读 需要 目标 ， 才 能 避免 “过目 即 忘 ”。 人 快速 阅读 的 主旨 是 搜索 文档 最 重 
要 的 信息 ， 并 整理 出 它们 的 关系 。 在 此 过 程 中 ， 测 试 人 员 可 以 用 如 下 问 
题 指 导 信 息 搜 索 。 即 便 快 速 阅 读 不 能 提供 完整 的 答案 ， 它 们 也 为 后 续 的 
评审 提供 了 指引 。 

。 这 篇 文档 的 目标 读者 是 谁 ? 

© 这 篇 文档 代表 了 哪些 关系 人 的 利益 ? 

。 这 篇 文档 要 解决 什么 问题 ? 要 达成 什么 目标 ? 

。 这 篇 文档 提出 了 怎样 的 解决 方案 ? 

。 这 篇 文档 有 什么 样 的 结构 ? 哪些 部 分 是 评审 的 重点 ? 

经 过 快速 阅读 ， 测 试 人 员 已 经 掌握 了 文档 的 结构 ， 知 晓 哪 些 部 分 是 重点 


内 容 。 在 批判 性 阅读 的 第 二 个 阶段 ， 测 试 人 员 会 仔细 阅读 重点 内 容 ， 
分 析 文 档 的 论点 、 论 据 和 主张 。 其 中 ， 阅 读 的 基本 技术 是 组 织 和 总 结 














组 织 是 识别 出 需求 文档 陈 诉 的 事实 、 推 新、 设计 、 决 定 等 要 点 ， 总 结 是 
将 获得 的 信息 归纳 为 多 种 测试 模型 。 这 要 求 测试 人 员 从 需求 文档 中 抽取 
言 思 ， 重 新 排列 ， 以 获得 更 内 聚 、 更 精炼 的 信息 表示 。 该 步骤 是 一 个 信 
县 转换 的 过 程 ， 测 试 人 员 应 该 忠实 于 需求 文档 。 他 可 以 标注 出 目 己 的 疑 
问 和 新 想法 ， 但 不 应 该 改写 原文 的 信息 。 








许多 测试 人 员 豆 欢 阅 读 纸 质 文档 。 为 了 组 织 文 档 中 的 素材 ， 他 会 一 边 阅 
读 ， 一 边 用 手中 的 笔 批 注 文档 。 他 会 用 宣 光 笔 标记 出 重要 的 文字 ， 用 签 
字 笔 在 段落 劳 边 总 络 出 段落 主 由 ， 或 批注 目 己 的 观点 。 一 些 助 记 符号 可 
以 提高 标注 的 速度 ， 例 如 用 惊叹 号 *! ”代表 重要 的 信息 ， 用 问号 “? R 
示 有 疑问 的 信息 。 读 完 文档 后 ， 他 扫描 标记 的 文字 和 上 自己 的 笔记 ， 整 理 
出 关键 信息 ， 并 组 织 成 模型 。 


另 一 种 常见 的 阅读 方法 是 利用 文字 处 理 软件 ， 使 用 软件 的 功能 来 高 亮 文 
字 和 加 入 批注 。 有 些 团队 将 文档 存放 在 共有 的 服务 右上， 文档 作者 和 团 
队 成 员 都 可 以 读 到 这 些 高 亮 文字 和 批注 。 此 外 ， 测 试 人 员 可 以 同时 局 动 
思维 导 图 软件 或 笔记 软件 ， 让 它 的 窗口 与 文档 窗口 并 排放 置 ， 从 而 方便 
地 将 信息 从 需求 文档 搬运 到 思维 导 图 、 功 能 列表 、 状 态 图 等 模型 中 。 这 
样 ， 测 试 人 员 可 以 一 边 阅 读 文档 ， 一 边 建 并 测试 模型 。 


经 过 重点 阅读 ， 测 试 人 员 应 该 能 够 回答 第 一 阶段 所 列举 的 问题 。 如 果 还 
存在 颖 问 ， 这 可 能 暗示 需求 文档 存在 人 不足 ， 没 有 讨论 基本 的 问题 。 男 一 
种 可 能 是 测试 人 员 对 产品 和 业务 缺少 必要 的 知识 ， 尚 不 能 完整 地 理解 青 
求 文档 。 对 于 后 一 种 情况 ， 测 试 人 员 可 以 同 产 品 经 理 或 测试 伙伴 请 教 ， 
并 补充 学 习 一 些 产 品 知识 。 在 茶 种 意义 上 ， 评 审 需求 文档 也 是 评估 训 试 
人 员 目 吴 知识 的 机 会 ， 他 应 该 利用 该 机 会 来 提高 知识 储备 。 


在 批判 性 阅读 的 第 三 个 阶段 ， 测 试 人 员 评 价 和 批评 文档 的 内 容 。 在 实 
际 阅读 过 程 中 ， 测 试 人 员 完 全 可 以 在 第 二 阶段 就 质疑 文档， 并 指出 它 的 
音 误 或 不 足 。 第 三 个 阶段 让 测试 人 员 站 在 全 局 的 高 度 ， 反 思 整 篇 文档 ， 
并 推敲 细 市 。 对 于 一 些 比较 复 森 的 软件 产品 ， 这 样 的 思考 有 助 于 获得 更 
好 的 理解 、 发 现 更 深层 次 的 问题 。 以 下 是 一 些 常 见 的 思考 点 。 


。 在 论证 时 ， 文 档 所 提供 的 证 据 是 否 正 确 ?如 果 文 档 所 依赖 的 证 据 
征 错误 的 ， 那 么 其 推论 势必 存在 问题 。 测 试 人 员 需 要 质疑 需求 文档 
的 基本 证 据 。 例 如 ， 文 档 陈 诉 的 用 户 情景 是 否 真实 地 反映 了 用 户 的 
期 望 ? 文档 对 工作 流程 所 施加 的 业务 规则 是 必须 的 吗 ? 文档 所 依赖 
的 论据 是 事实 ， 还 是 文档 作者 的 假设 ? 


在 论证 时 ， 文 档 所 提供 的 证 据 是 人 否 充分 ?考虑 不 周 是 需求 文档 的 
典型 问题 。 当 需求 文档 遗漏 了 一 些 因素 ， 软 件 设 计 很 可 能 不 能 应 对 
真实 世界 的 挑战 。 测 试 人 员 需 要 尽力 思考 各 种 可 能 性 ， 以 及 早 发 现 
此 类 问题 。 例 如 ， 文 档 所 提供 的 用 户 角色 具有 代表 性 吗 ? 有 没有 重 




















要 的 用 户 角 色 被 遗漏 ? 文档 所 陈述 的 用 户 情景 覆盖 了 所 有 典型 情景 
吗 ? 如 果 只 禾 盖 了 部 分 情景 ， 那 么 没有 讨论 的 情景 对 软件 设计 有 何 
影响 ?需求 文档 给 出 的 软件 功能 可 以 处 理 可 预见 的 用 户 操作 吗 ? 可 
以 处 理 可 能 发 生 的 异常 吗 ? 


在 论证 时 ， 文 档 的 推理 过 程 正确 吗 ? 对 事实 的 错误 解读 会 导致 错 
误 的 结论 。 测 试 人 员 需 要 关注 论证 过 程 的 逻辑 错误 。 例 如 ， 产 品 经 
理 分析 在 线 系统 的 日 志 ， 获 得 了 用 户 行 为 数据 ， 然 后 建 并 了 用 户 行 
为 模型 ， 并 导出 了 新 的 软件 设计 。 对 此 ， 测 试 人 要 需要 检查 用 户 行 
为 数据 是 否 典 型 、 该 数据 能 人 否 代 表 主 流 用 户 的 行为 、 对 数据 的 解读 
和 是否 恰 当 、 所 建立 的 模型 是 人 否 正确 、 模 型 能 否 导 出 另 一 种 不 同 的 设 


计 等 问题 。 


文档 是 个 清晰 地 曾 述 了 用 户 需 求 ， 并 明确 地 描述 了 软件 设计 的 目 
标 ? 论述 含糊 不 清 是 需求 文档 另 一 个 典型 问题 。 如 有 果 程 序 员 错误 

地 理解 了 需求 ， 他 会 设计 出 有 缺陷 的 软件 ， 如 采 测 试 人 员 错 误 地 理 
解 了 需求 ， 他 的 测试 活动 将 遗漏 一 些 重要 的 缺陷 。 测 试 专家 Richard 
Bender 对 基于 需求 的 测试 有 长 期 的 积累 ， 他 的 文章 《歧义 评审 过 

f=) (The Ambiguity Review Process 4 ) 提出 了 一 个 精炼 的 歧义 检 
查 列表 ， 以 及 一 组 容易 引发 歧义 的 词汇 列表 [Bender07]。 虽 然 他 的 
皮 义 词汇 列表 仪 提供 喘 文 词汇 ， 但 是 测试 人 员 很 容易 将 其 转换 为 中 
文 词汇 。 基 于 这 些 评审 参考 资料 ， 测 试 人 员 可 以 逐渐 发 展 出 自己 的 
检查 列表 和 词汇 列表 ， 从 而 实现 更 高 效 地 检查 。 


文档 的 所 设 定 的 目标 、 所 要 解决 的 问题 、 所 提出 的 方案 是 人 否 真 正 
实现 了 关系 人 的 利益 ? 具体 而 言 ， 测 试 人 员 可 以 思考 : 关系 人 的 
利益 何在 ? 实现 目标 可 以 最 大 化 关系 人 的 价值 吗 ? 存在 其 他 有 价值 
的 目标 吗 ”需要 解决 的 问题 是 关系 人 最 关心 的 吗 ? 所 提出 的 方案 能 
够 高 效 地 解决 问题 吗 ? 是 否 存在 更 好 的 答 代 方案 ? 当前 的 方案 存在 
哪些 风险 ? 需求 文档 有 没有 提出 相应 的 风险 缓解 方法 ? 


























14 http://www.benderrbt.com/Ambiguityprocess.pdf 。 
驱动 力 2: 测试 人 员 通 过 批判 性 阅读 建立 的 测试 模型 
除了 发 现 需 求 文档 的 问题 ， 批 判 性 阅读 会 重新 组 织 原 文档 的 信息 ， 以 获 


得 面 癌 测试 的 产品 模型 。 这 不 但 帮助 测试 人 员 更 好 地 理解 文档 ， 也 为 今 
后 的 测试 提供 了 文 持 材料 。 不 同 内 容 的 需求 文档 会 得 到 不 同 的 测试 模 


型 一 份 需求 文档 也 可 能 导出 多 个 测试 模型 。 在 阅读 时 ， 测 试 人 员 需 要 
积极 地 思考 何 种 模型 能 够 有 效 地 组 织 文档 的 信息 ， 并 动手 实践 。 以 下 是 
一 些 常见 的 测试 模型 。 


。 功能 列表 《参见 3.2.4 节 ) 。 测 试 人 员 从 需求 文档 中 识别 出 功能 
点 ， 将 它们 组 织 成 功能 列表 。 在 此 过 程 中 ， 测 试 人 员 会 推 殴 功能 点 
之 间 的 隶属 关系 ， 并 尝试 构造 出 一 份 脉络 清晰 、 远 辑 合理 的 层次 列 
表 ， 即 将 文字 信息 重 构 为 树 形 结构 的 信息 框架 。 该 过 程 不 但 帮助 测 
试 人 员 杭 理 文档 内 容 ， 还 为 功能 测试 的 测试 计划 提供 了 基础 素材 。 


。 质量 特性 列表 (参见 3.2.9 节 )〉 。 测 试 人 员 用 质量 特性 列表 如 
[TheTestEyel1]) 来 检查 文档 。 他 识别 需求 文档 明确 提 到 的 质量 特 
性 《如 能 力 、 安 全 性 、 兼 容 性 等 ) ， 作 为 测试 想法 的 来 源 。 同 时 ， 
他 发 掘 产品 应 该 具有 但 是 需求 文档 没有 记录 的 质量 特性 。 有 时 ， 产 
品 经 理会 认为 茶 些 特性 是 “不 言 自 明 ” 的 ， 为 了 让 需求 文档 简 涪 明 
了 ， 他 没有 予以 讨论 。 但 是 ， 程 序 员 可 能 会 包 视 这 些 特性 ， 使 得 产 
品 设计 不 能 满足 他 们 的 要 求 。 有 时 ， 产 品 经 理会 因为 琉 急 或 缺少 经 
验 而 遗漏 一 些 重要 的 质量 特性 。 对 于 这 些 情况 ， 测 试 人 员 需 要 提出 
需求 文档 应 该 考虑 的 质量 特性 ， 并 提交 给 项 目 团 队 共 同 讨论 。 


e Google ACC (参见 3.2.2 节 ) 。 在 知晓 产品 的 功能 和 质量 特性 后 ， 
测试 人 员 可 以 用 Google ACC 模 型 来 整理 信息 。 他 用 表格 来 组 织 属 
性 、 功 能 、 组 件 这 三 方面 的 信息 ， 从 而 洞察 产品 特性 和 产品 元 素 之 
间 的 联系 。 绘 制 表 格 的 过 程 是 测试 计划 的 过 程 ， 表 格 是 测试 计划 的 
成 果 ， 为 进一步 的 测试 设计 莫 定 了 基础 。 


e 启发 式 测 试 策略 模型 HTSM (参见 4.2.1 节 ) 。HTSM 是 一 个 结构 
化 的 、 可 定制 的 参考 模型 ， 包 括 产 品 元 素 、 项 目 过 程 、 质 量 标准 、 
测试 技术 等 方面 。 在 信息 覆盖 上 ，HTSM 是 功能 列表 、 质 量 特性 列 
表 和 Google ACC 的 超 集 。 对 于 复杂 的 产品 ， 测 试 人 员 可 以 将 思维 
导 图 形式 的 HTSM 〈 如 图 7-282 Bras) 作为 信息 架构 ， 将 需求 文档 
的 信息 逐步 填 入 思维 导 图 。 在 阅读 过 程 中 ，HTSM 思 维 导 图 好 似 探 
索 指 南 ， 指 引 测 试 人 员 发 掘 特 定 方 面 的 信息 ， 最 终 的 成 果 是 一 幅 多 
角度 描述 产品 的 地 图 。 虽 然 单纯 地 阅读 文档 并 不 能 构建 完整 的 
HTSM， 但 是 测试 人 员 仍 旧 可 以 用 它 产 生 许 多 好 的 测试 想法 。 测 试 
人 员 可 以 将 这 些 想 法 加 入 思维 导 图 ， 使 之 成 为 产品 信息 和 测试 想法 


的 混合 图 。 
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输入 与 输出 模型 (参见 4.2.2 节 ) 。 一 些 文档 会 详细 描述 产品 或 模 
模型 ， 以 梳理 输入 和 输出 之 间 的 关系 。 eee Al 
BT OCA E En S ERAM AA, BE e 
入 检查 、 异 常 处 理 、 错 误 报告 等 问题 。 


系统 生态 图 (参见 4.2.3 节 ) 。 对 于 部 署 在 多 台 计 算 机 或 拥有 多 个 
进程 的 软件 系统 ， 测 试 人 员 可 以 绘制 系统 生态 图 ， 以 描述 系统 部 普 
的 拓扑 结构 、 与 外 部 环境 的 通信 方式 和 子 系统 之 间 的 联系 。 即 便 茶 
些 文档 提供 了 相似 的 图 ， 从 测试 视角 重新 绘制 一 oo 
试想 法 ， 对 于 文档 理解 和 测试 计划 仍旧 大 有 神 益 


实体 关系 模型 (参见 4.2.4 广 ) 。 如 果 理 解 产 品 需 要 掌握 一 组 业务 
对 象 的 关系 ， 无 论 产品 是 否 使 用 数据 库存 储 业 务 数据 ， 测 试 人 员 都 
可 以 考虑 用 实体 关系 模型 来 辅助 理解 。 基 于 实体 关系 模型 ， 测 试 人 
员 不 但 能 够 获得 测试 想法 ， 还 可 以 检查 模型 中 实体 和 关系 的 一 致 

性 ， 从 而 发 现 需 求 文档 的 缺陷 。 


状态 机 模型 《参见 4.2.5 生 ) 。 如 果 需 求 文档 描述 了 产品 的 工作 
流 、 状 态 变迁 、 约 束 规则 等 信息 ， 测 试 人 员 可 以 建立 状态 机 模型 ， 
以 描述 软件 状态 、 状 态 变迁 以 及 在 特定 状态 下 的 约束 规则 。 有 时 ， 
产品 经 理 用 文字 、 列 表 等 形式 描述 复杂 的 业务 规则 。 因 为 规则 非常 
复杂 ， 测 试 人 员 很 难 完全 理解 ， 以 致 于 忽视 了 其 中 隐藏 的 问题 。 用 
状态 图 表达 状态 、 变 迁 和 约束 ， 能 够 以 更 直观 的 方式 表达 业务 规 
则 。 这 帮助 测试 人 员 更 好 地 理解 细节 ， 从 而 发 现 一 些 业 务 设计 上 的 
深层 次 问题 。 


























图 7-28 来 源 于 http://www.ministryoftesting.com/resources/mindmaps/ 。 该 网 页 提供 了 许多 测试 


相关 的 思维 导 图 ， 值 得 测试 人 员 参 考 。 
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图 7-28 思维 导 图 形式 的 HTSM 
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批判 性 阅读 和 构建 测试 模型 都 可 以 产生 高 质量 的 测试 想法 。 与 此 同时 ， 
测试 人 员 还 可 以 利用 文档 来 “核对 ”产品 的 行为 。 在 阅读 文档 时 ， 他 标记 
出 文档 对 产品 的 陈述 ， 然 后 针对 每 一 项 陈述 设计 测试 。 以 下 是 一 些 和 常见 
的 测试 想法 [Kaner11][Hendrickson13]。 


© 设计 攻击 性 的 测试 用 例 ， 尝 试 让 软件 行为 不 符合 需求 文档 的 陈述 














。 利用 条 件 分 析 设 计 测 试用 例 ， 以 检查 产品 在 不 同情 景 下 的 表现 。 
假设 ， 需 求 文档 要 求 在 线 词典 “在 用 户 键 入 单词 时 ， 显 示 相 应 的 查 
询 建 议 "。 对 此 ， 测 试 人 员 可 以 设计 一 组 测试 :如果 用 户 在 键入 单 
词 时 ， 服 务 器 没有 返回 相应 的 查询 建议 给 浏览 器 ， 用 户 会 观察 到 什 
A? 如 果 用 户 键 入 了 没有 意义 的 字符 串 ， 服 务 占 返回 空 的 查询 建 
议 ， 用 户 会 观察 到 什么 ?如果 用 户 键 入 词组 甚至 语句 ， 服 务 器 会 返 
回 什 么 结果 ， 用 户 会 观察 到 什么 ? 





。 改变 陈述 中 的 参数 值 ， 使 用 不 同 的 数据 、 配 置 、 情 景 来 测试 产品 
。 假 设 裔 求 文档 要 求 软件 “能 够 打开 、 编 辑 并 保存 服务 器 上 的 共 吾 
文档 ”。 从 文档 读 写 的 角度 ， 该 论述 隐 含 了 几 个 参数 : 网 络 带宽 、 
文档 扩 寸 、 被 编辑 的 内 容 、 共 同 编辑 文档 的 人 数 等 。 测 试 人 员 需 要 
针对 每 个 参数 疫 计 测试 用 例 ， 以 测试 典 畦 情况 、 边 界 情 况 、 弄 常情 
况 等 。 


测试 陈 诉 所 隐 舍 的 要 求 。 例 如 , “能够 打开 、 编 辑 并 保存 服务 器 上 

的 共 诗 文档 * 隐 式 地 要 求 “ 对 共 圣 文档 实施 权限 定理 ”>。 这 通常 意味 

独 软件 应 该 拒绝 无 权限 的 用 户 访问 文档， 并 提供 必要 信息 帮助 他 申 

请 “只 读 ” 或 “编辑 "权限 ; 软件 应 该 允许 拥有 “只 读 ” 权 限 的 用 户 读 取 

文档 ， 但 禁止 他 编辑 文档 ， 软 件 应 该 允许 文档 所 有 者 授予 其 他 用 户 

a 
il o 
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多 个 模块 、 功 能 、 情 景 来 发 现 设计 的 不 一 致 之 处 。 


设计 情景 测试 ， 在 一 个 实现 用 户 价值 的 故事 中 检查 软件 是 否 符合 
需求 文档 的 陈述 。 软 件 需要 交付 用 户 价 值 ， 在 具体 的 情景 中 考 香 
再 求 陈述 和 软件 行为 有 助 于 发 现 一 些 需求 和 设计 的 缺陷 。 


在 开发 和 测试 的 过 程 中 ， 产 品 的 需求 和 设计 可 能 发 生变 化 。 特 别 是 ， 在 
软件 投入 测试 和 试用 后 ， 项 目 团队 会 收 到 许多 用 户 反馈 。 为 了 修复 缺陷 
或 优化 用 户 体 验 ， 产 品 经 理 和 程序 员 和 常常 做 出 设计 变更 。 随 着 产品 演 
化 ， 产 品 设计 可 能 不 再 符合 需求 文档 的 描述 。 为 了 避免 产品 错失 了 产品 
研发 的 “ 初 袁 ”， 测 试 人 员 可 以 在 产品 基本 定型 后 再 次 “核对 ”需求 文档 和 
产品 。 他 一 边 阅 读 文 要 ， 一 边 按照 文档 描述 来 测试 产品 。 甚 基本 目的 是 
检查 产品 是 否 满足 需求 文档 的 陈述 ， 发 现 测 试 遗漏 和 过 时 的 陈述 。 对 于 
过 时 的 需求 描述 ， 测 试 人 员 可 以 提交 文档 缺陷 ， 要 求 产 品 经 理 进 行 修 
订 。 男 一 种 注重 实效 的 方法 是 ， 测 试 人 员 高 亮 出 不 再 成 立 的 描述 ， 并 加 
上 批注 : “这 段 描述 不 再 成 立 ， 当 前 行为 请 参考 软件 版 本 : 
2.0.1224.1225。” 最 后 将 批注 后 的 文档 或 文档 地 址 发 送 给 项 目 团 队 。 


在 评审 需求 文档 的 过 程 中 ， 测 试 人 员 会 产生 一 些 测 试想 法 ， 也 会 产生 一 
些 值得 探索 的 疑问 。 测 试 专家 Elisabeth Hendrickson 建 议 用 测 程 主题 来 记 
录 这 些 测试 想法 和 探索 对 象 ， 以 便 为 测试 活动 的 组 织 与 安排 提供 基础 
[Hendrickson13]。 如 3.2.13 节 所 介绍 的 ， 测 试 人 员 可 以 参考 Hendrickson 












































提供 的 模板 “使 用 < 资源 >， 探 索 < 对 象 >， 以 求 发 现 < 信息 >" 来 编写 测 程 
主题 。 在 需求 评审 中 ， 测 试 人 员 可 以 根据 产品 和 文档 的 特点 来 选择 模板 
参数 的 值 。 以 下 是 一 些 常 用 的 选择 思路 。 
。 探索 < 对 象 >: 
产品 的 一 个 功能 
o 产品 的 一 个 组 件 或 子 系统 。 
产品 的 一 项 质量 特性 。 
。 使 用 < 资源 >: 
o 重要 的 用 户 角色 。 
实现 用 户 价值 的 使 用 情景 。 
。 挑战 < 对 象 > 能 力 的 使 用 情景 。 
与 < 对 象 > 有 协作 关系 的 功能 、 组 件 、 外 部 系统 等 。 
o < 对 象 > 所 依赖 和 处 理 的 数据 、 资 源 、 配 置 等 。 
。 及 现 < 信息 >: 
o 产品 是 否 交付 了 关系 人 期 望 的 价值 ? 
o 产品 是 否 实现 了 需求 文档 所 承 诡 的 质量 特性 ? 
o 产品 的 行为 是 否 符合 需求 文档 的 定义 ? 
产品 的 行为 是 否 符 合 测 试 模型 的 描述 ? 
在 模板 的 提示 下 ， 测 试 人 员 可 以 快速 地 记录 测 程 主题 ， 例 如 “使 用 < 最 近 
一 个 月 的 产品 数据 >， 探 索 < 产品 的 计算 吞吐 量 >， 以 检查 < 需求 文档 所 
要 求 的 吞吐 量 翻 倍 是 否 实现 >”“ 以 < 网 购买 家 的 号 份 >， 探 索 < 在 线 商 城 


的 退货 功能 >， 以 了 解 < 订 单 的 生命 周期 是 含 满足 现 有 的 状态 机 模型 >”。 
这 再 次 说 明 ， 需 求 评审 的 过 程 也 是 测试 计划 的 过 程 ， 其 产 出 不 但 是 更 好 
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的 的 产品 理解 ， 还 包括 更 好 的 测试 计划 。 


本 节 针 对 需求 文档 介绍 了 一 些 文档 评审 和 测试 分 析 的 方法 。 其 实 ， 它 们 
也 是 基于 规约 的 测试 的 常见 方法 ， 能 够 应 用 于 其 他 项 目 文档 的 评审 。 在 
项 目 过程 中 ， 测 试 人 员 应 该 积极 收集 任何 对 产品 设计 和 测试 有 帮助 的 文 
A (规格 说 明 、 设 计 文 档 、 用 户 手 册 、 广 告 文宣 等 ) ， 通 过 批判 性 阅读 
来 逐步 完善 对 产品 的 理解 ， 并 产生 的 有 针对 性 的 测试 想法 。 


7.3.3 ”通过 测试 来 研究 


软件 测试 是 一 种 研究 产品 的 基本 方法 。 例 如 ，4.2.2 讨 论 了 通过 测试 来 
收集 产品 信息 ， 以 构造 测试 模型 ，5.4.4 节 讨论 了 使 用 漫游 测试 来 学 习 产 
品 、 调 查 情 况 和 检测 风险 。 实 际 上 ， 每 当 测试 人 员 对 产品 或 业务 产生 疑 
问 时 ， 他 都 可 以 考虑 使 用 测试 来 实施 技术 调查 ， 以 获得 线索 和 答案 。 本 
节 介 绍 一 些 冲 见 的 测试 调研 方法 。 


方法 1: WRN TE 


测试 专家 James Bach 和 Jonathan Bach 兄 种 提 出 了 “侦察 测 程 > 的 概念 。 当 
他 们 测试 一 球 新 产品 时 ， 他 们 会 安排 一 个 或 几 个 侦察 测 程 ， 以 快速 调查 
产品 的 情况 。 在 一 个 视频 中 ， 他 们 展示 了 如 何 快速 旦 多样 地 实施 侦察 测 
f= [Bach09]。 其 中 ， 测 试 对 象 是 一 个 按钮 形状 的 玩具 ， 当 按钮 被 按 下 
时 ， 它 会 发 出 “That was easy” 的 声音 。 在 20 分 钟 的 测试 过 程 〈 视 频 将 整 
个 过 程 浓缩 为 4 分 钟 ) 中 ，James 兄 弟 使 用 了 一 组 测试 方法 。 


。 声明 测试 。 他 们 阅读 玩具 包装 盒 上 的 文字 ， 检 查 产 品 的 行为 是 否 符 
合 其 声明 ， 并 尝试 从 文字 中 获得 测试 灵感 。 


。 ae 他 们 阅读 产品 帮助 ， 了 解 产 品 的 正常 使 用 情景 和 预期 行 











。 功能 测试 。 他 们 用 快乐 路 径 测 试 检 查 了 产品 的 基本 功能 ， 用 状态 转 
换 测试 检测 了 按钮 按 下 和 弹 起 触发 的 状态 变迁 。 


e 产品 分 析 。 他 们 拆 彼 了 产品 ， 分 析 它 有 哪些 部 件 、 部 件 有 何 作 用 、 
部 件 之 间 如 何 连接 ， 从 而 推测 产品 的 工作 机 制 。 此 外 ，James Bach 
提 到 搜索 引擎 是 很 好 的 测试 工具 ， 它 可 以 帮助 测试 人 员 快 速 了 解 产 
品 信息 和 相关 知识 。 





。 情 景 测试 。 他 们 构思 了 一 组 现实 情景 来 考验 产品 ， 如 产品 从 桌子 上 
队 落 、 产 品 被 一 堆 杂 物 压 住 、 产 品 被 液体 淋 湿 、 产 品 被 反复 锤 击 
等 。 这 些 测试 对 产品 具有 一 定 的 破坏 性 ， 但 反应 了 实际 可 能 遭遇 的 
JE y 





a HHM. WiEm, Ase, JY ee. Hit 
结果 评估 ， 获 得 了 对 产品 的 第 一 手印 象 。 


压力 测试 。James Bach 使 用 铁 锤 强力 散 击 产品 ， 最 终 将 其 外 用 击 
WE. 


在 测 程 中 ，James 兄 第 使 用 了 多 种 测试 方法 ， 从 多 个 角度 侦察 产品 ， 获 
得 多 个 方面 的 信息 。 多 样 化 的 测试 不 但 较 全 面 地 评估 了 系统 ， 还 帮助 他 
们 机 动 地 应 对 新 信息 ， 以 驱动 深入 的 调查 。 这 提示 测试 人 员 应 该 掌握 多 
样 化 的 测试 技术 ， 并 勤 加 练习 ， 以 实施 灵活 高 效 的 调试 ， 从 而 在 短 时 间 
内 获得 更 多 的 测试 结果 。 


不 同 的 研究 任务 需要 不 同 的 研究 策略 。 当 测试 人 员 加 入 一 个 项 目 ， 他 需 
要 尽快 了 解 产 品 的 基本 情况 。 因 此 ， 其 研究 策略 倾 同 于 运用 多 种 测试 技 
术 ， 以 实施 广泛 的 调 但 。 典 型 的 调查 成 果 包 括 产 品 的 功能 列表 梳理 产 
品 的 功能 ) 、 组 成 结构 《了解 产品 部 件 及 其 协作 关系 )、 实 现 技术 〔 推 
测 产品 的 工作 机 制 )、 输 入 与 输出 模型 《知晓 如 何 控制 和 观察 软件 的 行 
为 ) 、 缺 陷 较 多 的 不 稳定 区 域 〈 分 析 产 品 的 复杂 上 度 和 风险 ) 等 。 当 测试 
人 员 已 经 融入 项 目 团 队 ， 他 的 研究 任务 往往 是 获得 一 个 新 功能 或 新 修复 
的 情报 ， 从 而 周密 地 设计 测试 方案 。 这 时 ， 其 研究 策略 倾向 于 专注 于 特 
定 的 功能 ， 以 实施 深入 的 调查 。 典 型 的 调查 成 果 包 括 被 测 功能 的 输入 和 
输出 、 与 被 测 功能 协作 的 其 他 功能 、 履 盖 被 测 功能 的 用 户 情 景 、 测 试想 
法 列表 、 风 险 列 表 等 。 


方法 2: 结对 测试 


除了 独立 研究 ， 测 试 人 员 可 以 与 同事 结 成 测试 对 子 ， 实 施 结对 测试 。 所 
请 结对 测试 是 指 两 位 测试 人 员 并 排 而 坐 ， 使 用 同一 台 计 算 机 进行 测试 

[Kaner07]。 其 中 ， 一 位 测试 人 员 充 当 测 试 驱 动 者 ， 设 计 并 执行 测试 用 

例 ， 叉 一 位 测试 人 员 从 事 测试 辅助 活动 ， 包 括 观 凤 产品 细 市 、 提 供 测 试 
想法 、 记 录 测 试 笔记 、 仁 阅 参 考 资 料 等 。 他 们 会 定期 交换 职责 ， 使 得 两 
人 都 有 机 会 驱动 测试 。 














从 技术 调查 的 角度 ， 结 对 测试 有 助 于 产生 多 样 化 的 测试 想法 。 测 试 驱动 
者 需要 向 结对 伙伴 解释 他 的 测试 想法 ， 并 回答 同伴 对 产品 或 测试 的 疑 

问 。 该 过 程 能 够 目 然 地 理 清 测 试 思路 ， 并 挖掘 出 更 多 的 测试 机 会 。 通 过 
交换 职责 ， 来 自 不 同 测试 人 员 的 经 验 和 技巧 自然 融入 测试 过 程 ， 扩 展 了 
测试 的 视角 和 手段 。 与 此 同时 ， 结 对 伙伴 之 间 的 密切 交流 ， 可 以 启发 彼 
此 的 思路 ， 从 而 激发 出 更 多 的 测试 灵感 。 


从 业务 研究 的 角度 ， 结 对 测试 可 以 帮助 测试 人 员 更 快 地 理解 产品 。 在 大 
型 项 目 中 ， 一 位 测试 人 员 只 负 员 产品 的 几 个 模块 ， 只 了 解 产 品 的 一 部 分 
业务 知识 。 为 了 有 效 地 测试 模块 之 间 的 交互 ， 测 试 小 组 需要 测试 人 员 通 
力 协 作 、 彼 此 辅助 。 结 对 测试 让 测试 人 员 分 享 他 们 的 知识 ， 并 通过 测试 
来 说 明知 识 如 何 应 用 于 测试 。 这 是 一 种 非常 有 瘟 的 团队 学 习 活动 。 当 传 
授 者 同伙 伴 介绍 业务 知识 和 产品 实现 ， 他 会 梳理 上 自己 的 思路 ， 从 而 激发 
出 更 多 的 测 斌 想法。 同时， 学 习 者 会 提出 各 种 建议 和 问题 ， 用 他 的 知识 
和 经 验 来 增强 当前 测试 设计 。 于 是 ， 结 对 测试 综合 了 两 人 的 力量 ， 会 及 
现 一 些 单 人 测试 不 能 发 现 的 缺陷 。 


方法 3: 组 队 测 试 


除了 结对 测试 ， 测 试 小 组 还 可 以 考虑 组 队 测试 。 所 谓 组 队 测试 是 指 多 位 
测试 人 员 使 用 一 台 计 算 机 ， 共 同 测试 一 款 产 品 。 在 大 型 软件 中 ， 一 个 功 
能 很 可 能 与 多 个 功能 具有 协作 关系 。 有 些 协作 关系 很 复杂 ， 有 些 则 很 隐 
蔽 。 为 了 对 该 功能 实施 完整 的 集成 测试 ， 测 试 小 组 需要 集合 团队 的 力量 
来 群策群力 。 组 队 测试 是 一 种 有 益 的 集体 测试 活动 ， 能 够 弥补 测试 负责 
人 
方法 如 下 。 


。 功能 的 训 试 负责 人 邀请 同事 参与 组 队 测试 会 议 。 典 型 的 受 邀 对 象 包 
括 : 相关 功能 的 测试 人 员 、 熬 壬 产品 的 测试 老将 、 对 产品 不 太 了 解 
的 测试 新 人 等 。 邀 请 相关 测试 人 员 和 测试 老将 是 为 了 获得 更 多 的 产 
品 知识 和 更 丰富 的 测试 想法 。 邀 请 测试 新 人 是 为 了 获得 “新 鲜 ” 的 、 
无 拘束 的 观点 ， 同 时 也 帮助 新 手 尽 快 熟悉 产品 。 

。 测试 负责 人 预定 一 个 会 议 室 ， 准 备 好 两 合计 算 机 和 投影 仪 。 一 合计 
算 机 负责 执行 汕 试 ， 必 一 台 计 算 机 负责 记录 测试 笔记 。 投 影 仪 用 来 
展示 训 试 机 的 屏幕 ， 让 参与 者 都 可 以 看 到 测试 执行 的 过 程 。 


。 在 会 议 中 ， 测 试 负责 人 执行 测试 ， 另 一 位 测试 人 员 记 录 测试 笔记 ， 



































其 他 参与 者 提供 测试 用 例 。 在 测试 开始 之 前 ， 测 试 负 贡 人 介绍 被 测 
功能 的 特性 ， 并 避 励 参与 者 无 拘 无 束 地 提供 测试 想法 。 在 测试 中 ， 
参与 者 轮流 发 言 ， 提 供 测试 用 例 。 每 提出 一 个 测试 用 例 ， 测 试 负责 
人 都 会 立即 执行 它 。 与 此 同时 ， 记 录 员 会 记录 所 及 现 的 缺陷 或 有 价 
值 的 信息 ， 以 避免 提出 想法 和 执行 测试 的 循环 被 信息 记录 打 断 。 如 
果 参 与 者 对 被 测 功 能 有 疑问 ， 测 试 负 责 人 应 该 立即 给 予 解答 ， 以 加 
速 测 试 流程 。 


组 队 测试 可 以 提出 多 样 化 的 测试 想法 。 因 为 不 同 的 测试 人 员 具 有 不 
同 的 知 误 和 技能 ， 所 以 他 们 可 以 设计 出 丰富 多 样 的 测试 用 例 。 特 别 
是 ， 相 关 功 能 的 测试 人 员 可 以 从 新 角度 设计 出 集成 测试 用 例 或 用 户 
情景 。 这 往往 会 友 现 测试 负责 人 难以 触发 的 缺陷 。 为 了 保证 测试 想 
法 的 多 样 性 ， 测 试 负 贡 人 要 避免 某 个 参与 者 不 停 地 发 言 ， 而 打击 了 
其 他 人 的 积极 性 。 在 执行 完 一 条 测试 用 例 后 ， 他 可 以 主动 询问 一 个 
比较 安静 的 参与 者 ， 请 他 提供 想法 。 通 常 ， 安 静 的 参与 者 已 经 对 问 
题 进行 了 一 段 时 间 的 深入 思考 ， 能 够 提 蜗 很 好 的 测试 用 例 。 


组 队 测 试 有 较 好 的 上 自 适 应 性 。 当 测试 执行 发 现 一 个 缺陷 时 ， 参 与 者 
会 受到 局 发 ， 能 够 围绕 问题 区 域 提出 一 系列 测试 想法 。 这 有 助 于 深 
入 调 奋 有 风险 的 领域 ， 发 掘 出 更 多 的 缺陷 。 不 过 ， 测 试 负责 人 要 避 
免 测 试 设计 只 局 限 在 一 个 小 范围 中 。 在 一 段 时 间 的 深入 测试 后 ， 他 
人 
TA o 


在 会 后 ， 测 试 负责 人 和 记录 员 共 同 整 理 测 试 笔记 ， 并 提交 所 发 现 的 
缺陷 。 然 后 ， 测 斌 负责 人 总 结 组 队 测试 所 获得 的 知识 和 经 验 ， 将 新 
信息 补充 到 已 有 的 测试 模型 和 测试 文档 中 。 最 后 ， 测 试 负 责 人 发 送 
测试 报告 给 测试 经 理 和 参与 者 ， 总 结 所 发 现 的 缺陷 和 所 获得 的 知 
识 ， 并 感谢 大 家 的 参与 和 文 持 。 


























方法 4: 头脑 风暴 会 议 


另 一 





种 与 组 队 测试 相似 的 团队 测试 活动 是 头脑 风暴 会 议 。 为 了 更 好 地 测 


试 特定 对 象 ， 测 试 人 员 邀 请 团队 成 员 参 加 会 议 ， 通 过 积极 思考 和 目 由 发 
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站 是 汇 育 团队 的 知识 ， 实 施 更 周密 的 测试 。 不 同 点 在 于 ， 组 队 测试 需要 
相对 稳定 的 测试 对 象 ， 因 此 通常 在 项 目 中 后 期 执行 ， 头 脑 风暴 会 议 一 般 
不 执行 测试 ， 因 此 往往 在 项 目前 期 、 测 试 对 象 尚未 实现 时 举行 。 以 下 是 


头脑 风暴 会 议 的 实施 要 后 。 


。 功能 的 测试 负责 人 邀请 同事 (包括 产品 经 理 、 程 序 员 等 ) 参加 会 
议 。 与 组 队 测试 相似 ， 参 与 者 的 知识 和 角色 应 该 差异 化 ， 以 便 从 多 
个 方面 获得 测试 意见 。 


。 在 会 议 中 ， 测 试 负责 人 主持 会 议 ， 男 一 位 测试 人 员 记 录 参 与 者 的 建 
议 。 设 立 专 职 的 记录 员 是 因为 记录 是 一 项 比较 繁重 的 工作 ， 主 持 人 
羔 职 记录 会 影响 他 掌控 会 议 过 程 。 


。 在 测试 开始 之 前 ， 测 试 负 责 人 介绍 被 测 功能 的 特性 ， 并 鼓励 参与 者 
根据 目 己 的 知识 和 思考 提供 测试 想法 和 潜在 风险 。 


。 为 了 获得 多 样 化 的 想法 ， 训 试 负 责 人 应 该 确保 每 个 参与 者 都 有 机 会 
发 言 。 一 种 常见 的 做 法 是 让 参与 者 轮流 发 言 ， 每 次 发 言 只 能 提出 一 
个 想法 。 参 与 者 可 以 放弃 当前 的 发 言 机 会 ， 但 不 能 一 次 提出 多 个 想 
法 。 经 过 几 轮 友 言 ， 会 议 可 以 捕获 到 大 部 分 重要 的 测试 想法 。 男 一 
种 做 法 是 让 参与 者 独立 地 写 下 5 个 测试 想法 ， 每 个 想法 写 在 一 张 即 
时 贴 上 。 然 后 ， 将 所 有 即时 贴 粘 在 在 白板 上 。 测 试 负责 人 逐一 读 出 
即时 贴 上 的 想法 ， 并 将 相似 想法 的 即时 贴 归 并 在 一 起 。 经 过 数 轮 提 
议 ， 会 议 可 以 获得 满 白 板 的 即时 贴 和 大 量 的 测试 想法 。 


。 在 会 后 ， 测 试 负 责 人 和 记录 员 共 同 整理 测试 想法 。 然 后 ， 测 试 负责 
人 归纳 总 结 获 得 的 知识 ， 将 新 想法 写 入 测试 模型 和 测试 文档 中 。 最 
后 ， 测 试 负 贡 人 向 测 试 经 理 参 与 者 太 送 会 议 总 结 报告 ， 罗 列 获得 的 
测试 想法 和 潜在 风险 ， 并 感谢 大 家 的 参与 和 文 持 。 


除了 及 现 软件 缺陷 外 ， 任 何 测 试 都 包含 学 习 和 研究 的 因素 。 有 时 ， 为 了 
更 好 地 掌握 产品 ， 测 试 人 员 应 该 有 意识 地 提高 研究 性 活动 的 比重 ， 主 动 
地 探索 并 记录 产品 和 业务 知识 。 此 外 ， 与 团队 成 员 协 作 、 集 合 团队 的 力 
量 能 够 更 有 效率 地 理解 大 型 产品 。 


7.3.4 利用 互联 网 资源 
互联 网 的 海量 信息 提供 了 软件 开发 的 知识 库 ， 搜 索引 擎 则 是 发 现 知识 的 


重要 工具 。 人 恰当 地 利用 搜索 引 敬 和 网 络 资源 ， 测 试 人 员 可 以 更 好 地 理解 
产品 并 执行 测试 。 以 下 是 一 些 典 型 的 利用 网 络 资源 帮助 测试 的 情景 。 



























































情景 1: 利用 搜索 引擎 查找 技术 问题 的 线索 


互联 网 和 搜索 引擎 已 经 深刻 地 改变 了 软件 开发 的 习惯 。 以 往 ， 当 技术 人 
TUS BISA ME, (he Be TER, FFARR TIE. UI, 

他 可 以 在 互联 网 上 搜索 相似 的 问题 ， 参 考 他 人 对 问题 的 分 析 和 解决 之 

道 ， 从 而 快速 地 定位 问题 和 解决 问题 。 


例如 ， 测 试 人 员 在 Windows 操 作 系 统 上 安装 产品 时 ， 安 装 程序 报告 错 

误 ， 并 提供 了 错误 码 1306。 他 在 搜索 引擎 上 查询 “windows installer error 
1306”， 发 现 了 微软 描述 该 错误 的 页 面 *。 该 页 面 指 出 错误 1306 的 根源 
是 目标 文件 正在 被 使 用 以 至 于 不 能 被 更 新 ， 一 个 可 能 的 解决 方法 是 重启 
计算 机 。 于 是 ， 测 试 人 员 着 手 查 找补 使 用 的 文件 以 及 使 用 它 的 进程 ， 并 
将 重启 系统 作为 后 备 方案 。 可 见 ， 灵 活 地 使 用 搜索 引擎 可 以 快速 获得 新 
知 ， 为 解决 技术 问题 提供 线索 。 








16 http://msdn.microsoft.com/en-us/library/windows/desktop/aa372835(v=vs.85).aSpX 。 
为 了 准确 地 得 到 问题 的 线索 ， 测 试 人 员 可 以 参考 以 下 搜索 技巧 。 


。 搜索 有 “辨识 度 ” 的 关键 词 。 为 了 获得 最 相关 的 信息 ， 测 试 人 员 应 
该 准确 地 描述 问题 ， 且 使 用 能 与 其 他 信息 相 区 别 的 关键 词 。 对 于 软 
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栈 、 所 使 用 的 技术 〈 平 台 、 语 言 、 库 ) 等 。 其 中 ， 错 误 码 和 错误 消 
息 往 往 是 独一无二 的 ， 用 它们 查询 可 以 立即 发 现 相 关 资 料 。 例 如 ， 
在 C#、Java、Python 等 语言 中 ， 有 异常 的 类 名 和 消息 是 很 好 的 搜索 词 
组 ;对 于 Windows 的 报错 对 话 框 ， 它 提供 的 错误 码 和 错误 消息 是 有 
帮助 的 搜索 词组 。 


当 查 询 失 败 时 ， 尝 试 新 的 关键 词组 合 。 在 许多 时 候 ， 前 几 次 碍 询 
并 不 能 提供 答案 。 此 时 ， 测 试 人 员 应 该 考虑 重 整 得 询 思 路 ， 并 更 换 
搜索 关键 词 。 他 可 以 目 问 : 当前 技术 问题 的 外 在 表现 是 什么 ? 其 独 
有 的 特征 是 什么 ? 然后 ， 写 下 一 两 句 话 ， 以 精 要 地 描述 该 问题 的 表 
象 和 特征 。 接 者 ， 他 从 描述 中 抽取 出 知 干 关键 词 ， 以 进行 搜索 。 如 
果 搜 索 结 果 仍 不 能 提供 答案 ， 他 可 以 使 用 关键 词 的 同义词 或 近 义 

词 ， 再 做 得 询 。 有 时 ， 测 试 人 员 需 要 党 试 几 种 对 问题 的 描述 和 几 套 
关键 词 ， 才 能 找到 准确 的 答案 。 


。 使 用 英文 关键 词 进行 搜索 。 对 于 部 分 技术 问题 ， 只 有 英文 资料 提 


























供 了 线索 ， 所 以 必须 使 用 英文 关键 词 进行 查询 。 这 要 求 测试 人 员 能 
够 用 英文 描述 问题 ， 并 了 解 相应 的 英文 术语 。 为 了 储备 相应 的 英语 
能 力 ， 测 试 人 员 可 以 尝试 着 阅读 英文 技术 文档 和 英文 技术 博客 。 久 
而 久之 ， 他 便 了 解 技术 领域 的 术语 和 惯用 表达 方法 。 这 不 但 有 助 于 
使 用 英文 进行 搜索 ， 还 是 很 好 的 技术 储备 方法 。 


情景 2: 通过 技术 支持 论坛 等 工具 获得 用 户 反 人 馈 


为 了 向 用 户 提供 便捷 的 搁 术 支持 ， 许 多 软件 企业 准备 了 产品 论坛 、 邮 件 
组 、 即 时 通讯 软件 等 沟通 渠道 。 测 试 小 组 可 以 安排 测试 人 员 利 用 这 些 渠 
道 ， 收 集 用 户 提出 的 建议 ， 并 回答 他 们 的 间 题 。 从 测试 的 角度 ， 这 样 做 
有 多 方面 的 好 处 。 


首先 ， 这 有 助 于 培养 全 员 质 量 意 识 。 测 试 小 组 应 该 安排 每 一 位 测试 人 员 
(包括 测试 经 理 在 内 ) 参与 技术 文 持 ， 让 所 有 人 与 用 户 接 触 ， 了 解 他 们 
的 需求 并 解决 他 们 的 困难 。 这 有 助 于 测试 小 组 切 映 体会 用 户 的 感受 ， 了 
解 产品 的 优点 和 不 足 ， 从 而 逐渐 培养 出 团队 的 质量 意识 。 在 具体 实施 

上 ， 测 斌 小 组 可 以 安排 一 位 测试 人 员 负 贡 一 个 沟通 渠道 ， 每 个 月 轮换 一 
次 。 该 测试 人 员 每 周 用 5 个 小 时 《平均 每 个 工作 日 1 小 时 ) 来 收集 并 处 理 
用 户 反 馈 ， 并 在 月 末 发 送 当月 的 总 结 报告 ， 概 述 用 户 遭 遇 的 问题 、 提 出 
的 建议 、 使 用 软件 的 情景 等 信息 。 


第 二 ， 分 析 用 户 问题 可 以 获得 缺陷 的 第 一 手 资料 。 在 处 理 一 个 具体 的 问 
题 时 ， 测 试 人 员 可 以 按 以 下 步 又 进行 调查 。 


。 首先 ， 测 试 人 员 需 要 判断 用 户 提 交 的 问题 是 不 是 产品 缺陷 。 有 时 ， 
所 提交 的 问题 并 不 是 软件 缺陷 引起 的 。 例 如 ， 用 户 不 熟悉 产品 的 特 
性 ， 错 误 地 操作 了 软件 ， 导 致 业务 流程 失败 。 又 例如 ， 产 品 受到 运 
行 环境 的 限制 ， 没 有 足够 的 资源 完成 用 户 任 务 。 对 于 这 些 情况 ， 测 
试 人 员 应 该 各 用 户 解释 问题 的 根源 ， 并 提出 可 能 的 解决 方案 。 


如 果 问 题 是 软件 缺陷 引起 的 ， 测 试 人 员 需 要 查询 缺陷 数据 库 ， 以 判 
上 条 这 是 不 是 一 个 已 知 的 缺陷 。 有 些 缺 陷 因为 难以 复 现 ， 和 被 解决 

为 “不 能 复 现 ”。 如 果 用 户 在 他 的 环境 中 复 现 了 缺陷 ， 测 试 人 员 应 该 
通过 邮件 、 即 时 通讯 软件 等 工具 与 用 户 下 接 联系 ， 了 解 他 使 用 产品 
的 环境 和 情景 ， 为 复 现 并 修复 缺陷 搜集 信息 。 此 外 ， 有 些 缺 陷 未 家 
修复 的 原因 是 研发 团队 认为 它们 不 够 重要 ， 不 值得 修复 。 如 果 用 户 
发 现 了 茶 个 “不 被 修复 ”的 缺陷 ， 并 认为 它 导 致 了 严重 的 问题 ， 那 么 


















































测试 人 员 应 该 重新 激活 该 缺陷 ， 并 报告 用 户 的 使 用 情景 和 主观 感 
受 。 他 的 目标 是 通过 补充 更 多 的 信息 ， 让 缺陷 得 到 更 全 面 的 考虑 ， 
从 而 得 到 恰当 的 修复 。 


。 如 采 问 题 是 一 个 未 知 缺 陷 引 起 的 ， 测 试 人 员 应 该 与 用 户 联系 ， 了 解 
他 使 用 产品 的 环境 和 情景 ， 然 后 尝试 着 在 测试 环境 中 复 现 该 缺陷 。 
无 论 缺 陷 是 否 在 测试 环境 中 复 现 ， 测 试 人 员 都 应 该 提交 缺陷 报告 ， 
并 详细 阐述 已 知 的 信息 ， 包 括 用 户 发 现 缺 陷 的 环境 和 使 用 情景 、 缺 
陷 对 用 户 的 影响 、 为 复 现 缺陷 进行 的 实验 及 实验 结果 等 。 


在 以 上 缺陷 调查 过 程 中 ， 测 试 人 员 应 该 主动 地 与 用 户 联系 ， 感 谢 他 们 提 
交 问 题 ， 并 奖 尽 所 能 为 他 们 服务 。 如 果 茶 个 缺陷 不 能 在 短期 内 修复 ， 测 
试 人 员 可 以 提出 一 些 缓解 方案 ， 帮 助 用 户 绕 开 该 问题 。 


此 外 ， 技 术 文 持 的 过 程 还 可 以 暴露 产品 在 故障 诊断 上 的 不 足 。 有 些 产品 
在 用 户 许可 的 情况 下 ， 能 够 自动 收集 并 提交 计算 机 的 配置 信息 、 引 发 故 
障 的 调用 栈 、 产 品 进 程 的 微型 内 存 转 储 文件 等 资料 。 这 显著 提高 了 故障 
诊断 和 技术 文 持 的 效率 。 然 而 ， 许 多 产品 的 初始 设计 并 没有 考虑 故障 诊 
断 的 需求 。 对 此 ， 测 试 人 员 可 以 分 析 技 术 文 持 的 历史 资料 ， 络 合 切身 经 
验 ， 提 出 故障 诊断 的 需求 ， 并 给 出 每 项 需求 的 优先 级 。 这 有 助 于 项 目 团 
队 从 运 维 的 角度 思考 产品 ， 以 做 出 相应 的 设计 。 


第 三 ， 技 术 文 持 活 动能 够 帮助 测试 人 员 了 解 用 户 使 用 软件 的 情景 。 对 于 
一 球 被 广泛 使 用 的 软件 ， 其 用 户 类 型 具有 很 大 的 差异 性 。 不 同 的 用 户 为 
了 完成 其 任务 ， 会 构思 出 不 同 的 解决 方案 ， 用 多 种 多 样 的 方式 使 用 产 

品 。 其 中 一 些 使 用 情景 是 项 目 团 队 在 设计 产品 时 没有 想到 的 。 所 以 ， 阅 
读 用 户 问题 总 是 能 收集 到 一 批 * 别 出 心 裁 ? 的 使 用 情景 。 通 过 分 析 这 些 新 
的 用 户 情景 ， 测 试 人 员 可 以 更 好 地 理解 用 户 的 差异 性 ， 并 为 情景 测试 积 
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情景 3: 多 方面 地 收集 用 户 对 产品 的 评论 

随 着 互联 网 的 快速 发 展 ， 用 户 会 在 形形色色 的 网 站 上 发 表 自 己 对 产品 的 
疑问 和 见解 。 测 试 小 组 可 以 定期 收集 并 分 析 各 方 对 产品 的 评价 ， 从 而 更 
好 地 了 解 产 品 在 用 户 情景 中 表现 了 哪些 优点 ， 又 暴露 了 哪些 不 足 。 以 下 
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。 论坛 。 除 了 开发 方 提供 的 产品 论坛 ， 产 品 的 热心 用 户 可 能 组 建 独立 























的 论坛 ， 让 用 户 社区 目 由 地 讨论 各 种 话题 。 随 独 社 区 的 发 展 ， 论 坛 
会 聚集 一 批 资 深 用 户 ， 他 们 拥有 丰富 的 产品 知识 和 使 用 经 验 ， 不 但 
能 够 回答 新 手提 出 的 问题 ， 还 能 够 为 产品 发 展 提 供 有 价值 的 观点 。 
测试 小 组 可 以 将 此 类 论坛 视 为 官方 论坛 的 延伸 ， 定 期 地 收集 和 分 析 
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博客 。 一 些 资深 用 户 会 开设 博客 ， 发 表 他 使 用 产品 的 经 验 和 技巧 ， 
并 点 评 产品 的 优 缺 点 。 测 试 人 员 可 以 订阅 一 些 质 量 比较 好 的 博客 ， 
坚持 阅读 ， 以 积累 产品 知识 ， 并 掌握 更 多 使 用 产品 的 方法 。 在 测试 
活动 中 ， 这 些 新 知 能 够 激发 测试 灵感 、 提 高 测试 的 多 样 性 。 此 外 ， 
已 们 也 是 “博客 漫 洲 ”( 参 见 5.4.2 节 ) 的 基本 系 材 。 


问答 网 站 。 有 些 用 户 在 遇 到 产品 问题 时 ， 会 使 用 问答 网 站 或 微 博 来 
征求 解答 。 测 试 人 员 可 以 利用 此 类 网 站 提供 的 搜索 功能 ， 获 得 用 户 
提出 的 问题 和 相应 的 解答 。 那 些 拥 有 众多 评论 和 “赞同 ”的 问题 往往 
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媒体 评论 。 在 新 产品 发 布 后 ， 一 些 媒体 会 测试 产品 ， 并 发 表 评 测 文 
革 或 评测 视频 。 这 些 评论 对 于 产品 的 推广 有 潜在 、 甚 至 巨大 的 影 
啊 ， 产 品 团 队 需 要 予以 相应 的 重视 。 测 试 人 员 应 该 收集 相关 评论 
(包括 对 竞争 产品 的 评论 ) ， 了 解 评 论 者 从 哪些 方面 考察 软件 ， 用 
何 种 方法 和 工具 来 具体 评价 产品 的 表现 。 这 些 信 息 是 “评论 者 漫 
游 " 和 "竞争 者 温 游 "〈 参 见 5.4.2 节 ) 的 参考 资料 ， 能 帮助 测试 人 员 
从 评论 者 的 角度 来 测试 软件 ， 以 发 现 不 民 设 计 对 软件 价值 的 伤害 。 
在 开发 过 程 中 发 现 此 类 设计 缺陷 ， 使 研发 团队 有 资源 修复 问题 ， 从 
而 避免 产品 发 布 后 江 即 其 露 在 猛烈 的 批评 中 。 


互联 网 的 信息 浩如烟海 ， 是 无 法 穷尽 的 。 高 效 的 测试 人 员 会 灵活 地 运用 
搜索 引擎 等 工具 ， 快 速 地 获取 有 价值 的 资料 ， 为 测试 设计 和 产品 及 展 所 
供 支持 。 该 探索 过 程 需要 以 明确 的 目标 作为 指引 ， 以 便 让 投入 的 时 间 获 
得 切实 的 回报 。 


7.3.5 ”领域 研究 


通常 ， 软 件 产 品 的 任务 是 帮助 用 户 解 决 特定 领域 的 问题 ， 辅 助 他 们 实现 
业务 目标 。 如 果 它 不 能 完成 领域 任务 、 不 能 解决 领域 问题 ， 无 论 它 在 


























其 他 方面 如 何 优秀 ， 都 无 法 逃脱 失败 的 结局 。 为 了 有 效 地 发 现 此 类 问 
题 ， 测 试 人 员 需 要 深入 学 习 业 务 领域 的 知识 。 例 如 ， 照 厂 美 化 软件 的 测 
试 人 员 应 该 学 习 图 像 处 理 的 知识 ， 文 字 处 理 软件 的 测试 人 员 应 该 学 习 排 
版 知识 ， 财 务 软 件 的 测试 人 员 应 该 学 习 财 会 知识 。 这 不 但 有 助 于 发 现 严 
重 的 设计 缺陷 ， 还 可 以 发 现 一 些 领 域 专家 才能 识别 的 细节 问题 。 


与 需求 评审 相似 ， 测 试 人 员 需 要 用 明确 的 目标 来 驱动 领域 研究 。 舍 则 ， 
他 可 能 花费 了 大 量 的 时 间 ， 却 没有 获得 对 测试 活动 有 价值 的 成 采 。 一 般 
说 来 ， 领 域 研究 的 目标 是 获得 产品 相关 的 领域 模型 。 该 模型 可 以 连接 产 
品 团队 和 领域 专家 ， 并 指导 测试 小 组 实施 业务 相关 的 测试 。 虽 然 不 同 的 
产品 拥有 过 有 异 的 领域 模型 ， 但 是 典型 的 模型 会 包含 业务 领域 的 基本 概 
念 ， 能 够 表达 产品 的 业务 目标 ， 以 及 达成 目标 的 技术 方案 和 约束 条 件 。 


首先 ， 测 试 人 员 需 要 掌握 基本 的 领域 概 仿 和 术语 。 当 领域 专家 相互 交 
谈 时 ， 他 们 会 使 用 大 量 的 术语 来 表达 领域 的 专属 概念 ， 即 使 用 所 谓 

的 “ 行 话 ? 来 提高 交流 的 效率 。 在 日 党 工作 中 ， 研 发 团队 的 成 员 也 应 该 党 
握 并 使 用 领域 术语 。 这 让 产品 经 理 、 程 序 员 、 测 试 人 员 、 领 域 专 家 等 项 
目 关 系 人 能 够 高 效 地 交流 ， 并 为 进一步 的 领域 研究 珊 定 基础 。 


当 研 究 一 个 新 领域 时 ， 以 维基 百科 为 代表 的 在 线 百 科 全 书 是 很 好 的 起 
点 。 测 试 人 员 可 以 从 一 个 最 核心 的 领域 术语 开始 ， 阅 读 它 的 定义 ， 并 利 
用 页 面 上 相关 术语 和 参考 文献 的 链接 进一步 阅读 相关 资料 。 因 为 时 间 有 
限 ， 测 试 人 员 不 能 穷尽 所 有 的 术语 和 资料 ， 所 以 他 需要 有 选择 地 阅读 。 


与 测 程 ( 参 见 3.2.13 市 ) 相似 ， 他 可 以 设 定 一 个 时 间 盒 (60 到 120 分 
钟 ) ， 在 此 期 间 专心 致 志 地 阅读 在 线 百科 的 词 条 和 参考 文献 。 在 阅读 过 
程 中 ， 他 循环 执行 批判 性 阅读 的 基本 步骤 : 结构 、 主 张 、 评 估 《 人 参见 
7.3.2 节 ) 。 痛 先 ， 他 扫描 词 条 全 文 ， 阅 读 摘要 、 标 题 和 图 表 ， 以 理解 术 
语 的 基本 含义 ， 并 掌握 全 文 结构 。 然 后 ， 他 直接 跳 到 感 兴趣 的 段落 进行 
阅读 ， 并 将 有 价值 的 信息 摘录 到 研 客 笔记 中 。 接 着 ， 他 评估 当前 的 研究 
进展 ， 以 确定 是 深入 研究 该 术语 对 应 的 概念 “阅读 词 条 所 列举 的 参考 文 
献 ) ， 还 是 拓宽 研究 范围 《阅读 当前 词 条 的 相关 词 条 ) 。 随 后 ， 他 开始 
对 下 一 篇 文章 进行 批判 性 阅读 。 在 时 间 盒 内 ， 测 试 人 员 应 该 高 速 阅 读 ， 
浏览 尽 可 能 多 的 词 条 和 文献 。 其 目标 不 是 深入 理解 一 两 个 术语 ， 而 是 党 
握 领 域 的 基本 情况 ， 为 后 续 的 研究 页 定 宽泛 的 基础 。 


在 时 间 盒 结束 后 ， 测 试 人 员 需 要 整理 研究 笔记 ， 将 原先 零散 记录 的 术 
语 、 定 义 和 描 述 ， 组 织 成 相互 联系 的 概念 体系 。 之 后 ， 他 可 以 将 笔记 分 







































































诗 给 领域 专家 和 测试 伙伴 ， 并 与 他 们 一 起 讨论 研究 成 果 。 在 讨论 中 ， 领 
域 专 家 和 资深 同事 可 以 提供 更 多 的 信息 ， 帮 助 测试 人 员 更 快 地 向 握 领 域 
知识 的 要 点 ， 并 纠正 一 些 误解 。 


在 掌握 基本 概念 之 后 ， 测 试 人 员 需 要 了 解 产 品 所 服务 的 业务 目标 。 业 
务 目标 研究 和 需求 分 析 很 相似 ， 都 需要 理解 用 户 获 得 业务 成 功 必 须 达 到 
的 目标 ， 都 通过 用 户 访谈 、 市 场 调查 、 文 献 阅读 等 手段 来 收集 信息 和 产 
生 结 论 。 其 区 别 在 于 ， 需 求 分 析 着 重 考 虑 当前 产品 的 功能 和 范围 ， 研 究 
计算 机 和 软件 如 何 帮 助 用 户 ;， 业 务 目 标 研究 则 偏重 于 业务 本 里， 挖掘 用 
户 的 使 合 和 任务 ， 而 不 刻意 地 思考 具体 的 工作 是 由 产品 完成 、 还 是 由 用 
户 或 其 他 工具 完成 。 


对 于 测试 人 员 而 言 ， 业 务 目 标的 研究 成 果 可 以 是 一 组 用 户 角 人 色 (参见 
5.6.2 节 ) 。 一 个 用 户 角 色 是 一 个 具体 的 人 物 ， 但 是 他 (她 ) 刻画 了 一 类 
用 户 的 共性 特征 ， 描 述 了 他 们 的 共同 目标 。 利 用 用 户 角 色 ， 测 试 人 员 可 
以 更 好 地 理解 产品 的 使 命 ， 并 为 情景 测试 提供 基本 素材 。 他 针对 每 个 用 
户 角色 ， 进 一 步 列 出 产品 为 他 《她 ) 提供 的 核心 功能 和 质量 特性 ， 从 而 
将 用 户 的 业务 目标 和 产品 的 能 力 联系 起 来 。 


在 知晓 业务 目标 之 后 ， 测 试 人 员 需 要 学 习 达 成 业务 目标 的 技术 方法 。 

例如 ， 照 片 美化 软件 的 测试 人 员 人 针对 图 片 的 “色彩 调节 ”功能 ， 需 要 学 习 
一 些 图 像 处 理 知识 ， 包 括 图 片 的 文件 格式 、 图 片 的 主要 属性 (尺寸 、 分 
HE RAE) 、 图 片 在 内 存 中 的 数据 格式 ” 、 色 彩 编码 、 色 彩 变换 算 
法 等 。 在 掌握 了 这 些 领域 知识 后 ， 测 试 人 员 可 以 更 好 地 理解 产品 设计 ， 

并 设计 有 针对 性 的 测试 用 例 。 从 长 远 看 ， 测 试 人 员 通 过 持续 学 习 ， 能 逐 
和 
次 


17 大 多 数 图 像 处 理 软件 支持 编辑 多 种 格式 的 图 片 文件 。 当 读 取 图 片 文 件 时 ， 它 会 将 不 同 的 图 

片 格 式 转化 为 一 种 统一 的 格式 ， 并 保存 在 内 存 中 。 当 用 户 编辑 图 片 时 ， 软 件 会 根据 用 户 命令 对 
内 存 中 的 数据 进行 计算 和 修改 。 当 用 户 保存 或 导出 图 片 时 ， 软 件 会 将 内 存 中 的 数据 编码 为 用 户 
指定 的 图 片 格式 ， 并 写 入 外 部 存储 器 。 


















































































































































为 了 学 习 具 体 的 技术 方法 ， 测 试 人 员 需 要 钻研 一 些 领 域 专车 和 文献 资 

料 。 起 初 ， 他 可 以 请 领域 专家 或 资深 同事 推荐 一 些 文献 。 随 着 研究 的 深 
入 ， 他 可 以 根据 工作 需要 和 自身 兴趣 ， 搜 索 并 学 习 更 多 的 资料 。 通 第， 
测试 人 员 不 可 能 脱离 工作 来 进行 长 时 间 的 学 习 。 因 此 ， 注 重 实效 的 测试 
人 员 会 在 整个 项 目 过 程 中 利用 空闲 时 间 持 续 学 习 ， 根 据 产 品 的 发 展 和 测 








试 的 需求 ， 逐 步 丰 富 自己 的 领域 知识 。 聚 沙 成 塔 ， 集 腋 成 表 ， 测 试 人 员 
会 慢 慢 了 解 领域 全 貌 。 


领域 研究 是 为 了 更 好 地 测试 。 在 学 习 技 术 方 法 的 同时 ， 测 试 人 员 应 该 从 
测试 角度 收集 信息 ， 为 测试 设计 提供 支持 。 以 下 是 一 些 常见 的 研究 结 
果 。 


。 约束 规则 。 许 多 领域 拥有 定律 、 规 则 和 法 条 ， 它 们 对 领域 对 象 产 
生 了 强制 约束 。 例 如 ， 物 体 运动 应 该 符合 “能 量 守 恒定 律 "”，JEPG 图 
片 编码 需要 遵循 国际 标准 ， 财 会 工作 必须 遵守 国家 法 律 法 规 等 。 测 
试 人 员 应 该 收集 领域 中 的 约束 规则 ， 将 它们 作为 测试 想法 和 测试 先 
知 的 参考 资料 。 


。 潜在 风险 。 在 阅读 资料 时 ， 如 果 测 试 人 员 感 党 茶 些 主题 艰深 难 
展 ， 他 应 该 提醒 自己 ， 产 品 经 理 和 程序 员 在 处 理 该 主题 时 也 会 感到 
困惑 。 如 果 他 们 不 能 很 好 地 应 对 领域 复杂 性 ， 其 设计 和 实现 很 可 能 
包含 错误 。 测 试 人 员 应 该 将 复 洒 性 高 的 主题 记录 为 风险 项 ， 并 在 今 
后 的 测试 中 予以 重点 关注 。 除 了 复杂 性 ， 测 试 人 员 还 需要 留意 其 他 
挑战 产品 的 因 系 。 例 如 ， 严 谨 的 学 术 文献 在 讨论 一 种 技术 时 ， 不 但 
会 介绍 它 的 优点 ， 还 会 中 肯 地 讨论 其 缺点 。 当 项 目 团 队 选 择 一 个 特 
人 

予以 监控 。 


。 测试 模型 。 与 需求 评审 相似 ， 测 试 人 员 应 该 重新 组 织 他 学 到 的 知 
识 ， 形 成 面 癌 测试 的 模型 。 好 的 模型 能 够 精 炬 地 表达 领域 本 质 ， 为 
测试 设计 和 测试 执行 提供 有 力 文 持 。 


综 上 所 述 ， 领 域 研究 要 求 测试 人 员 持 续 付 出 时 间 和 努力 ， 并 将 研究 成 果 
应 用 于 测试 实践 。 其 回报 也 是 丰厚 的 。 掌 握 领 域 知识 的 测试 人 员 能 够 自 
如 地 与 产品 关系 人 《领域 专家 、 软 件 用 户 、 程 序 员 等 ) 讨论 产品 和 业 

务 ， 尽 早 发 现 需 求 分 机 和 软件 设计 中 的 缺陷 ， 并 设计 出 更 具 威 力 的 测 

试 ， 发 现 简单 测试 不 能 骏 露 的 问题 。 





























7.4 ”研究 策略 


本 章 已 经 介绍 了 静态 分 析 、 动 态 分 析 、 关 系 人 研究 、 需 求 评审 、 测 试 调 
查 、 网 络 调研 、 领 域 研究 等 研究 产品 的 方法 。 在 实践 这 些 方法 的 过 程 
中 ， 有 两 个 要 点 值得 测试 人 员 注 意 。 


第 一 ， 测 试 人 员 需 要 综合 运用 多 种 研究 方法 ， 才 能 全 面 地 理解 产品 。 不 
同 的 方法 从 不 同 的 角度 调查 产品 ， 它 们 所 提供 的 信息 相互 补充 ， 而 非 彼 
此 符 代 。 在 测试 活动 中 ， 有 经 验 的 测试 人 员 会 交 蔡 使 用 多 种 研究 方法 ， 
让 它们 彼此 支持 、 相 互 驱动 ， 从 而 获得 深入 的 调查 结果 。 例 如 ， 他 浏览 
业务 相关 文献 ， 获 得 了 一 组 测试 想法 。 为 了 检验 想法 的 有 效 性 ， 他 阅读 
产品 的 源 代 码 ， 以 过 滤 掉 无 效 的 想法 ， 并 将 有 效 的 想法 细 化 为 一 组 测试 
用 例 。 在 测试 执行 时 ， 他 使 用 调试 右 等 工具 分 析 产 品 的 动态 行为 。 在 工 
有 共 的 帮助 下 ， 他 发 现 了 一 些 产品 缺陷 ， 并 对 产品 设计 产生 了 新 的 疑问 。 
为 了 解除 困惑 ， 他 叉 去 查阅 需求 文档 和 领域 资料 ， 以 求 获 得 更 多 的 线 


AJN o 


第 二 ， 产 品 研 究 会 员 穿 整个 项 目 过 程 。 在 软件 项 目 中 ， 并 没有 泾 渭 分 明 
的 “研究 调查 阶段 ?和 “实践 应 用 阶段 >， 产品 研究 和 测试 实践 总 古 并 行 实 
施 。 产 品 演化 会 提出 新 的 汕 试 任务 ， 新 的 任务 将 驱动 新 的 研 完 活 动 ， 新 
的 研究 成 果 会 指导 新 一 轮 的 测试 ， 而 新 的 测试 结果 提供 了 更 多 的 研究 系 
材 。 蜗 效 的 测试 人 员 会 充分 利用 测试 的 迭代 过 程 ， 以 测试 任务 为 指引 ， 
通过 注重 实效 的 研究 ， 逐 步 积 累 产 品 和 领域 知识 。 他 知道 掌握 知识 的 根 
本 方法 是 并 发 地 实施 测试 相关 学 习 、 测 试 设计 、 测 试 执行 和 测试 评估 ， 
让 它们 成 为 相互 支持 的 活动 。 理 论 和 想法 需要 进 过 实践 的 考验 和 修正 才 
能 真正 发 挥 作 用 。 




















7.5 小结 


0 
2: 


。 静态 分 析 通 过 阅读 产品 代码 ， 来 理解 产品 实现 和 代码 变更 。 

。 对 于 复杂 产品 的 理解 ， 裔 态 分 析 的 典型 集 略 是 概览 源 代码 树 ， 了 解 
目录 结构 、 模 块 划 分 、 代 码 分 布 等 基本 情况 ， 然 后 细 读 一 部 分 重要 
代码 来 以 点 带 面 。 

。 影响 分 析 和 传播 分 析 是 审阅 局 部 代码 并 产生 测试 想法 的 常见 技术 。 

。 黑 盒 测试 并 不 是 基于 无 知 的 训 试 。 

。 动态 分 析 通 过 运行 软件 来 研究 产品 的 关键 情景 和 重要 设计 。 

。 灵活 使 用 包括 调试 右 在 内 的 动态 分 析 工 具 将 显著 提高 测试 效率 。 

。 测试 人 员 需 要 识别 重要 关系 人 ， 理 解 其 目标 、 使 命 和 任务 。 


P E E E anemia ge 


。 测试 人 员 需 要 批判 性 地 阅读 产品 相关 文档 。 典 型 的 文档 评审 结果 包 
括 : 文档 缺陷 、 测 试 模型 、 测 试想 法 和 需要 调查 的 问题 。 


。 软件 测试 本 号 就 是 一 种 研究 产品 的 方法 。 侦 察 测 程 、 结 对 测试 、 组 
队 测 试 、 头 脑 风 暴 会 议 能 够 帮助 测试 人 员 更 好 地 了 解 产品 。 


。 互联 网 提供 了 海量 的 测试 信息 ， 搜 索引 擎 是 发 现 知识 的 重要 工具 。 


。 测试 人 员 需 要 学 习 领 域 概念 、 业 务 术 语 、 业 务 目标 和 技术 方法 ， 以 
实施 更 深入 的 测试 。 


© 综合 运用 多 种 研究 方法 ， 才 能 全 面 地 理解 产品 。 











。 测试 相关 学 习 、 测 斌 设计、 测试 执行 和 测试 评估 是 相互 支持 的 并 发 
活动 。 


第 8 章 研究 项 目 


在 启发 式 测试 策略 模型 HTSM (4.2.10) 中 ， 产 品 元 素 、 项 目 环境 、 质 
量 标准 和 测试 技术 是 测试 人 员 思 考 测 试 策略 的 基本 要 素 。 本 书 之 前 的 章 
节 讨 论 了 测试 技术 、 质 量 标准 和 产品 元 素 ， 本 章 将 讨论 项 目 环 境 。 


软件 项 目 是 一 个 内 涵 丰 语 的 主题 ， 相 关 滥 作 可 谓 汗 牛 充 栋 。 基 于 本 书 的 
主 目 ， 本 章 只 从 测试 人 员 的 角度 来 考察 软件 项 目 ， 目 标 是 为 测试 活动 提 
供 更 多 的 信息 。 具 体内 容 包 括 项 目 团 队 、 项 目 分 析 和 基于 风险 的 测试 。 




















8.1 项 目 团队 


软件 项 目的 主体 是 项 目 团 队 ， el ， 也 引入 了 让 
人 恼怒 的 缺陷 。 团队 的 人 员 构 成 、 组 织 结构 、 运作 机 制 将 深远 地 影 啊 软 
件 的 质量 量 。 语 境 驱动 测试 认为 < 人 ， 团 队 协 作 ， 是 项 目 语 境 中 最 重要 的 
ne | 因此 ， 测 试 人 员 需 要 了 解 项 目 团队 的 成 

， 并 知晓 团队 的 运作 方式 。 只 有 如 上 此， 测试 人 员 才 能 有 效 地 运用 测试 
资源 ， 为 团队 提供 高 质量 的 测试 服务 。 


8.1.1 了 解 团队 组 织 
在 加 入 一 个 新 团队 后 ， 测 试 人 员 应 该 主动 了 解 项 目 团队 的 使 命 、 目 标 和 
运作 方式 。 这 将 帮助 他 理解 自己 的 职责 ， 从 而 更 好 地 执行 测试 任务 。 以 
下 是 一 些 值得 思考 的 问题 。 


。 大 型 项 目 往往 由 多 个 团队 共同 完成 ， 测 试 人 员 需 要 掌握 团队 之 间 的 
协作 关系 。 


o 测试 人 员 所 处 的 项 目 团队 负 责 哪 些 工 作 ? 
o 当前 团队 有 哪些 伙伴 团队 ? 哪些 是 上 游 团 队 ? 哪些 是 下 游 团 
队 ? 




















当前 团队 与 伙伴 团队 有 哪些 具体 的 依赖 关系 ? 
o 相互 依赖 的 团队 如 何 协同 工作 ? 他 们 对 于 合作 的 内 容 和 方式 有 


哪些 共识 ? 


Z/N 


(0) 


o 对 于 测试 人 员 而 言 ， 他 需要 为 哪些 团队 提供 哪些 服务 ? 其 他 团 
队 叉 会 通过 什么 方式 同 他 提供 支持 ? 


。 测试 人 员 应 该 掌握 团队 的 人 员 组 成 和 角色 职责 。 
o 对 于 当前 团队 ， 产 品 经 理 小 组 、 编 程 小 组 、 测 试 小 组 各 负 什 么 


责任 ? 落实 到 个 人 ， 产 品 经 理 、 程 序 员 、 测 试 人 员 各 负 什 么 责 
人 





o 在 当前 团队 中 ， 产 品 经 理 、 程 序 员 、 测 试 人 员 如 何 协同 工作 ? 
他 们 对 于 合作 的 内 容 和 方式 有 了 哪些 共识 ? 产品 经 理 对 测试 人 员 
的 测试 服务 有 何 期 望 ? 程序 员 对 测试 人 员 的 测试 服务 有 何 期 





te? 
o 如 果 工 作 中 出 现 了 意见 分 收 ， 通 过 哪些 渠道 可 以 解决 分 卜 ， 或 
形成 决议 ? 


o 在 团队 中 ， 哪 些 人 是 资深 员工 ? 哪些 人 会 指导 或 驱动 哪些 具体 
的 工作 ? 在 工作 中 遇 到 困惑 ， 可 以 癌 谁 请 教 ? 


。 测试 人 员 需 要 了 解 项 目的 组 织 流 程 。 
o 项 目 负责 人 、 产 品 经 理 、 开 发 经 理 、 测 试 经 理 如 何 协 作 ? 他 们 
如 何 决 定 项 目 流程 和 规则 ? 他 们 如 何 评 佑 项 目 进度 并 拟定 项 目 
计划 ? 在 此 过 程 中 ， 测 试 人 员 可 以 提供 哪些 信息 和 建议 ? 


o 项 目 团队 如 何 定义 “工作 完成 ”? 其 中 , “测试 完成 ”的 定义 是 什 
人 么 ? 

















o 项 目 团 队 如 何 决 定 产 品 可 以 发 布 ? 其 中 ， 测 试 人 员 需 要 为 发 布 
决策 提供 哪些 信息 ? 


。 测试 人 员 应 该 知晓 测试 小 组 的 组 织 流程 。 


o 在 测试 小 组 内 部 ， 测 试 人 员 如 何 协作 ? 测试 经 理 如 何 协 调 测 试 
人 员 之 间 的 工作 ? 


o 测试 经 理 如 何 管理 具体 的 测试 工作 ? 他 如 何 了 解 工 作 项 的 内 容 
和 完成 情况 ?他 会 对 测试 工作 作出 哪些 决策 ? 

o 测试 经 理 对 测试 人 员 有 何 期 望 ? 他 和 希望 测试 人 员 以 何 种 方式 来 
汇报 工作 ? 他 如 何 设 定 测试 任务 的 优先 级 和 质量 标准 ? 他 如 何 
评 信和 测试 人 员 的 工作 绩效 ? 


o 哪些 人 是 资深 测试 人 员 ? 哪些 人 会 指导 或 驱动 哪些 具体 的 测试 
THE? 在 工作 中 过 到 困惑 ， 可 以 同 谁 请 教 ? 


为 了 更 好 地 理解 项 目 环境 ， 测 试 人 员 应 该 主动 寻找 以 上 问题 的 答案 。 与 


软件 测试 相似 ， 他 应 该 从 多 个 渠道 收集 信息 。 


首先 ， 他 应 该 癌 测 试 经 理 询问 团队 组 织 的 问题 。 他 可 以 和 测试 经 理 约 
定 一 个 时 间 ， 一 起 讨论 测试 管理 和 团队 协作 的 问题 。 更 好 的 做 法 是 约定 
一 个 周期 性 的 一 对 一 会 议 ， 以 便 定期 提出 问题 并 交换 意见 。 测 试 经 理 通 
常 是 测试 人 员 的 直属 领导 ， 人 负责 测 试 人 员 的 绩效 考评 。 了 解 他 对 测试 工 
作 的 要 求 和 期 望 ， 能 够 帮助 测试 人 员 更 有 效 地 工作 。 而 且 ， 测 试 经 理 是 
测试 小 组 的 领导 者 ， 会 组 织 团 队 活动 、 分 派 测 试 任务 、 协 调 测 试 人 员工 
作 。 测 试 人 员 应 该 主动 询问 测试 经 理 如 何 领 导 团队 ， 从 而 更 好 地 在 团队 
中 工作 。 此 外 ， 测 试 经 理 能 够 更 多 地 接触 高 层 经 理 和 其 他 团队 的 代表 ， 
对 项 目 运 作 有 更 深刻 的 认识 ， 能 够 回 测 试 人 员 传 递 许多 有 价值 的 信息 。 


其 次 ， 他 可 以 在 日 常 工 作 中 同 团 队 成 员 请 教 。 测 试 经 理 从 管理 层 的 角 
度 给 出 了 意见 ， 而 团队 成 员 能 从 实际 工作 完成 者 的 角度 提供 信息 。 他 们 
的 知识 大 多 来 自 测 试 实践 ， 既 有 成 功 的 经 验 ， 又 有 失败 的 教训 。 在 具体 
的 工作 上 ， 咨 询 他们 的 意见 并 妥善 思考 ， 能 达到 事半功倍 的 效果 。 测 试 
人 员 应 该 对 所 有 同事 保持 谦虚 的 态度 。 在 团队 中 ， 没 有 人 知道 所 有 细 

节 ， 集 合 多 人 的 观 后 才 能 形成 较 完整 的 认识 。 


最 重要 的 是 ， 他 应 该 通过 工作 来 获得 答案 。“ 纸 上 得 来 终 觉 浅 ， 绝 知 此 
事 要 躬 行 ”， 许 多 道理 需要 结合 具体 任务 ， 通 过 动手 实践 才能 真正 党 
握 。 训 试 人 员 应 该 利用 当前 的 测试 任务 来 理解 项 目 和 团队 ， 并 通过 反思 
来 形成 自己 的 认识 。 
例如 ， 测 试 经 理 为 新 加 入 团队 的 小 张 安排 了 一 个 测试 任务 ， 与 力 一 个 团 
队 共 同 完成 系统 的 集成 测试 。 为 了 理解 任务 的 背景 ， 小 张 会 向 测试 经 理 
询问 一 些 具 体 问题 ， 例 如 : 

。 谁 是 集成 测试 的 总 负责 人 ? 谁 驱动 和 协调 具体 的 工作 ? 

o 伙伴 团队 中 ， 谁 负责 集成 测试 ?工作 分 工 是 什么 ? 

。 在 我 们 的 团队 中 ， 还 有 谁 参 加 集成 测试 ?工作 分 工 是 什么 ? 

。 集 成 测试 预期 何 时 完成 ? 集成 测试 的 结束 标准 是 什么 ? 


。 如 果 有 问题 〈 例 如 严重 的 缺陷 、 缺 少 必 要 的 硬件 、 某 位 同事 休假 
等 ) 阻碍 了 集成 测试 的 进展 ， 应 该 如 何 处 置 ? 
































。 您 对 集成 测试 有 什么 期 望 ? 
。 您 觉得 集成 测试 存在 哪些 风险 ? 如 何 友 现 风 险 并 消除 其 危害 ? 
。 您 觉得 哪些 测试 策略 会 有 帮助 ? 您 党 得 可 能 会 及 现 哪些 缺陷 ? 


除了 与 测试 经 理 交 流 ， 小 张 还 会 咨询 参与 过 集成 测试 的 员工 ， 从 他 们 那 
里 了 解 集成 测试 的 情况 。 通 党， 测试 经 理会 给 出 一 些 战 略 层面 的 建议 ， 
测试 人 员 会 给 出 一 些 具 体 战术 。 根 据 所 收集 的 信息 ， 小 张 会 编写 一 份 测 
试 计划 ， 发 送 给 测试 经 理 、 本 团队 和 伙伴 团队 的 测试 人 员 ， 以 征求 改进 
意见 。 随 后 ， 他 大 手 测试 ， 并 根据 其 他 人 对 测试 计划 的 有 反馈。 对 测试 活 
动 进行 必要 的 调整 。 


在 测试 完成 后 ， 小 张 回顾 测试 过 程 ， 对 测试 组 织 和 测试 设计 进行 反思 ，。 
其 中 ， 他 会 再 次 思考 曾经 询问 过 的 问题 ， 并 形成 自己 的 见解 。 经 过 几 次 
测试 任务 ， 小 张 会 形成 自己 的 知识 体系 。 当 有 新 人 同 他 咨询 测试 工作 
时 ， 他 可 以 给 出 独到 的 建议 。 


8.1.2 语 境 独立 的 启发 式 问 题 


上 一 小 节 讨 论 了 一 些 面 向 团队 结构 和 项 目 组 织 的 调查 问题 ， 本 节 将 介绍 
测试 专家 Michael Bolton 和 JamesBach 所 提出 的 一 组 语 境 独立 的 局 发 式 问 

jl [Bolton10]。 所 谓 “ 语 境 独 六 ”是 指 这 些 问题 不 局 限于 特定 的 软件 项 

A; 所 谓 “ 启 发 式 ” 是 指 它 们 有 助 于 挖掘 信息 ， 但 需要 测试 人 员 批 判 性 地 
思考 。 当 测试 人 员 加 入 新 项 目 或 重新 评估 现 有 项 目 时 ， 这 组 问题 可 以 帮 
助 他 调查 当前 语 境 ， 更 好 地 理解 自己 的 工作 。 


测试 专家 Ajay Blamurugadas 对 这 组 问题 进行 了 归纳 整理 ， 绘 制 了 一 幅 思 
维 导 图 ， 详 见 图 8-1[Blamurugadas13]。 该 图 将 Michael Bolton 的 几 十 个 问 
题 归 纳 为 十 余 个 要 点 ， 帮 助 测试 人 员 多 角度 地 思考 软件 项 目 。 当 测试 人 
员 加 入 新 团队 时 ， 他 可 以 向 测试 经 理 和 项 目 领 导 询 问 这 些 问 题 ， 也 可 以 
用 它们 去 指导 项 目 研究 。 无 论 如 何 ， 调 得 这 些 问 题 都 可 以 让 他 更 好 地 理 
解 项 目 ， 为 有 效 的 测试 提供 线索 。 






































感觉 (Feeling) 许可 (Permission) 
信息 (Information) 客户 (Client) 


避免 (Avoid) 使 命 (Mission) 


测试 者 (Tester) 


专家 (Expert) 
开发 者 (Developer) 


图 8-1 Ajay Blamurugadas 归 纳 了 Michael Bolton 的 语 境 独立 问题 
具体 的 问题 列表 如 下 。 
。 许可 (P ermission ) 
o 我 可 以 问 您 一 些 问题 吗 ? 
。 客户 《〈C lient) 
。 谁 是 我 的 客户 ? 
o 您 是 我 唯一 的 客户 吗 ? 
o 谁 是 产品 的 用 户 ? 
o 还 有 哪些 关系 人 ? 
e 使 命 (M ission) 
。 我 的 使 命 是 什么 ? 
o 我 的 使 命 还 包含 哪些 部 分 ? 
。 据 您 所 知 ， 有 哪些 问题 会 威胁 产品 的 价值 ? 


e 产品 (P roduct) 


NS 


我 可 以 无 限制 地 访问 产品 吗 ? 

o 是 否 存在 其 他 相似 的 产品 ? 

o 被 测 闫 品 在 哪些 地 方 应 该 与 其 他 产品 一 致 ?在 哪些 地 方 应 该 不 
同 ? 


fo) 


o 被 测 产 品 依 赖 什么 ? 
o 构建 该 产品 使 用 什么 工具 和 资源 ? 
报告 (R eport) 
o 您 希望 我 如 何 提供 报告 ? 多 久 报告 一 次 ? 
o 您 何 时 会 考虑 发 布 产品 ? 
o 除 此 之 外 ， 您 还 希望 我 提供 什么 ? 
o 您 希望 我 以 何 种 方式 提供 ? 
时 间 CT ime) 
o 我 拥有 多 少时 间 ? 
o 距离 下 次 发 布 或 部 署 还 有 多 少时 间 ? 
距离 测试 结束 或 开发 结束 还 有 多 少时 间 ? 
。 您 何 时 需要 报告 或 答案 ? 
数据 CD ata) 
o 产品 处 理 什么 样 的 数据 ? 
o 我 可 以 获得 一 些 样 例 数据 吗 ? 
o 我 能 获得 对 数据 的 详细 描述 吗 ? 
先知 CO racle) 





o 我 如 何 识别 一 个 问题 ? 


o 如 果 我 认为 我 及 现 了 一 个 问题 。 为 什么 我 认为 这 是 一 个 问题 ? 
还 有 谁 会 认为 这 是 一 个 问题 ? 


。 有 思考 (Thinking) 
o 这 是 我 发 现 的 情况 和 我 对 它 的 解释 。 还 存在 其 他 解释 吗 ? 


o 这 是 我 现在 的 思考 结果 。 还 存在 其 他 正确 的 解释 吗 ? 如 果 我 的 
思考 结果 是 错误 的 ， 正 确 的 是 什么 ? 


o 您 能 解释 产品 是 如 何 工 作 的 吗 ? 
o 您 能 男 一 幅 草 图 来 解释 产品 如 何 工作 吗 ? 
。 测试 者 CT ester) 
o 其 他 人 测试 过 产品 吗 ? 
我 可 以 获得 他 们 的 测试 结果 吗 ? 
o 测试 小 组 还 有 哪些 测试 人 员 ? 
”我 需要 具有 哪些 技术 和 能 力 ? 


o 测试 小 组 还 具有 哪些 其 他 的 技术 和 能 力 ? 何 处 能 提供 更 多 的 技 
术 和 能 力 ? 


o 测试 小 组 可 能 缺少 哪些 技术 和 能 力 ? 
。 专家 (E xpert) 

o 还 有 谁 了 解 产 品 ? 

o 谁 是 回答 产品 问题 的 最 佳人 选 ? 

o 在 项 目 团队 中 ， 谁 是 领域 专家 ? 


(0) 


。 谁 是 公认 的 领域 专家 ， 即 便 他 们 在 别处 工作 ? 
。 开发 者 (D eveloper) 

。 谁 构建 了 产品 ? 

o 我 可 以 与 他 们 交谈 吗 ? 

o 他 们 容易 交流 吗 ? 他 们 乐于 助人 吗 ? 

o 他 们 曾经 构建 过 相似 的 产品 吗 ? 

。 存在 某 个 我 应 该 避免 与 他 打交道 的 人 吗 ? 
e 感觉 CF eeling) 

o 我 对 产品 和 测试 有 何 感觉 ? 

o 您 对 产品 和 测试 有 何 感觉 ? 

o 谁 可 能 有 不 同 的 感觉 ? 

o 他 们 可 能 有 何 感 觉 ? 
用 户 对 产品 如 何 评 价 ? 
o 我 可 以 与 技术 支持 人 员 交 谈 吗 ? 


oO 


e 信息 (Information) 
o 我 可 以 获得 哪些 信息 ? 
o 还 有 更 多 的 信息 吗 ? 
在 哪里 我 可 以 获得 更 多 的 信息 ? 还 有 其 他 信息 源 吗 ? 
o 还 有 其 他 形式 的 信息 吗 ? 
这 就 是 全 部 的 信息 吗 ? 还 有 其 他 的 规则 、 需 求 和 规约 吗 ? 
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o 我 可 以 做 哪些 工作 去 帮助 您 获得 信息 ? 

。 避免 CA void) 
o 我 可 以 相信 谁 ? 谁 的 信任 度 比较 低 ? 
o 存在 一 些 我 不 应 该 做 的 事情 吗 ? 
o 存在 一 些 我 应 该 问 您 的 问题 吗 ? 

。 LH (Tool) 
o 有 什么 设备 和 工具 可 以 帮助 我 测试 ? 
。 您 期 望 我 构建 什么 工具 ? 要 求 我 构建 什么 工具 ? 

在 本 质 上 ， 以 上 问题 的 动机 是 揭示 语 境 ， 即 通过 调查 具体 问题 来 更 全 面 


地 了 解 项 目 环 境 和 团队 组 织 。 询 问 并 研究 这 些 问 题 将 帮助 测试 人 员 更 好 
地 体会 他 的 环境 和 使 命 。 


8.1.3 了 解 团队 成 员 


人 是 项 目 语 境 中 节 重 要 的 部 分 ， 测 试 人 员 需 要 了 解 与 他 一 起 工作 的 同 
事 ， 才 能 有 效 地 协作 、 自 如 地 发 挥 。 所 谓 了 解 同 事 ， 并 不 是 要 知晓 他 们 
的 生活 细节 ， 更 不 是 要 才 探 他 人 隐私 ， 而 是 了 解 他 们 在 工作 中 如 何 思 考 
和 行动 ， 从 而 更 好 地 与 他 们 配合 。 


研究 人 类 性 格 和 思维 模式 的 方法 有 很 多 。 其 中 ， 迈 尔 斯 ? 布 里 格 斯 性 格 
分 类 法 (Myers-Briggs Type Indicator，MBTI)〉 是 一 种 著名 的 性 格 测试 
方法 [WikipediaMBTI13]。 测 试 人 员 可 以 借用 MBTI 的 4 个 基本 问题 ， 来 
分 析 同 事 的 工作 风格 ， 从 而 以 恰当 的 方式 与 之 合作 。 


问题 1: 在 使 用 心理 能 量 时 ， 他 是 “外 向 ”还 是 “内 问 ”? 


。 外 辐 型 的 人 偏 回 于 从 外 部 获得 能 量 ， 从 讨论 和 互动 中 获得 力量 。 在 
工作 中 ， 他 倾向 于 与 同事 密切 交流 ， 频 繁 讨论 。 所 以 ， 测 试 人 员 可 
以 考虑 和 外 加 型 同事 当面 交谈 ， 共 同 解决 问题 。 一 方面 ， 回 他们 提 
供 能 量 和 帮助 ， 男 一 方面 ， 也 从 他 们 那里 获得 力量 和 灵感 。 






































。 内 同型 的 人 偏 回 于 从 内 部 获得 能 量 ， 从 思考 和 冥想 中 获得 力量 。 在 
工作 中 ， 他 倾向 于 独立 工作 ， 安 静 思 考 。 这 不 意味 着 他 不 吾 欢 交 
流 ， 而 是 他 和 希望 在 深思 熟 虑 之 后 再 进行 讨论 。 与 内 同型 的 同事 协作 
时 ， 测 试 人 员 应 该 用 “信任 并 检验 ”的 风格 。 首 先 ， 相 信和 他 们 会 利用 
安静 的 时 间 独 上 自 解决 问题 ， 然 后 ， 定 期 与 他 们 面对面 交流 ， 同 步 役 
此 的 进度 ， 讨 论 一 些 需要 协作 才能 解决 的 问题 。 


问题 2， 在 认识 外 在 世界 时 ， 他 是 依赖 “感觉 ”还 是 “直觉 ”? 


感觉 型 的 人 偏向 于 “眼见 为 实 、 耳 听 为 赁 "?， 更 多 地 用 五 官 来 认识 世 
界 。 在 工作 中 ， 他 们 重视 事实 和 数据 ， 会 深入 地 研究 问题 的 细 市 。 
所 以 ， 测 试 人 员 在 交流 之 前 应 该 准备 好 数据 、 图 表 和 事实 ， 用 翔实 
的 信息 来 推动 讨论 。 


直觉 型 的 人 偏向 于 使 用 直觉 ， 用 大 脑 中 的 非 显 性 知识 来 分 析 上 基体 问 
题 。 在 工作 中 ， 他 们 更 重视 可 以 解释 事实 的 观点 ， 用 抽象 的 理论 来 
掌握 全 局 。 与 他 们 协作 时 ， 测 试 人 员 不 但 要 收集 事实 ， 还 要 思考 它 
们 背后 的 理论 ， 并 给 出 自己 的 见解 。 这 有 助 于 推动 意见 交流 ， 在 相 
互 局 及 的 过 程 中 获得 更 深刻 的 观 后 。 


问题 3:， 在 作出 决定 时 ， 他 利用 “思考 ”还 是 “感觉 ”? 


。 思考 型 的 人 在 作 决 策 时 ， 重 视 合 理性 、 逻 辑 性 、 因 果 关 系 、 一 致 
性 ， 偏 回 于 通过 理性 思考 来 得 出 结论 。 在 说 服 他 们 时 ， 测 试 人 员 和 二 
要 严密 地 论证 ， 用 坚实 的 推理 来 构建 证 据 链 ， 从 而 让 结论 显得 目 然 
而 合理 。 


感觉 型 的 人 在 作 决 策 时 ， 重 视 问题 的 情景 ， 考 虑 相关 人 员 的 感受 ， 
并 关注 解决 方案 是 否 协调 一 致 和 拥有 共识 。 在 说 服 他 们 时 ， 测 试 人 
员 不 但 要 使 论证 “合理 ”， 还 要 让 结果 * 合 情 *。 这 要 求 测试 人 员 了 解 
他 们 的 价值 观 ， 用 “ 同 理 心 * 来 体会 他 们 对 于 问题 的 感受 ， 从 而 给 出 
恰当 的 解决 方案 。 


问题 4: 在 处 事 风格 上 ， 他 是 “决断 ”还 是 “体察 ”? 
。 决断 型 的 人 偏 回 于 “快刀 斩 乱 矿 ”"”， 快 速 作 出 决定 ， 让 解 空间 收 合 。 


在 软件 项 目 中 ， 决 断 型 的 同事 倾 加 于 快速 给 出 技术 方 宁 ， 持 续 推 动 
软件 高 速 发 展 。 这 帮助 项 目 团队 在 激烈 的 市 场 竞 争 中 争取 先 发 优 






































势 ， 但 也 引入 了 错误 决策 的 风险 。 为 此 ， 测 试 人 员 需 要 慎重 思考 他 
们 的 决定 ， 发 据 其 中 的 问题 和 风险 。 其 目标 是 确保 项 目 团队 对 这 些 
问题 进行 了 足够 的 研究 ， 并 为 相关 风险 制定 了 监控 和 缓解 方案 。 


体 穴 型 的 人 仿 同 于 “循序 渐进 ”， 将 重大 决策 延 后 ， 保 持 解 空间 的 开 
放 性 ， 等 到 拥有 足够 的 信息 再 作 诀 定 。 在 软件 项 目 中 ， 体 察 型 的 同 
事 倾 问 于 只 做 必要 的 设计 ， 力 求 让 当前 的 、 真 实 的 问题 来 驱动 软件 
发 展 。 这 有 助 于 保持 软件 设计 的 简洁 ， 避 免 过 度 设计 带 来 的 开销 。 
其 风险 是 他 们 的 决策 可 能 缺乏 前 瞻 性 ， 不 能 高 速 地 切入 新 领域 或 提 
出 新 方案 ， 从 而 错失 大 幅度 提高 竞争 力 的 机 会 。 为 此 ， 测 试 人 员 需 
i 
项 目 发 展 。 


在 运用 MBTI 的 4 个 问题 时 ， 需 要 牢记 : 这 些 问 题 都 是 局 发 式 问题 ， 它 们 
可 以 提供 有 参考 价值 的 信息 ， 但 是 无 法 承 详 完美 的 答案 。 首 先 ， 人 的 性 
格 是 复杂 的 ， 不 会 位 于 “性 格 光 详 ? 的 两 器 《〈 例 如 纯粹 的 外 回 或 纯粹 的 内 
问 ) ， 而 是 位 于 中 间 的 茶 一 点 ， 从 而 体现 出 一 种 混合 的 风格 。 其 次 ， 人 
对 于 不 同 的 事物 有 不 同 的 态度 ， 从 而 在 不 同 工 作 项 上 表现 出 不 同 的 工作 
风格 。 所 以 ， 测 试 人 员 除 了 分 析 同 事 的 工作 风格 ， 还 要 与 他 们 直接 讨论 
如 何 协作 。 有 时 候 ， 主 动 问 一 句 :“ 在 这 件 事 上 ， 你 希望 我 做 些 什 

么 ? ”， 就 可 以 展开 很 好 的 对 话 ， 为 民 好 的 协作 真 定 基础 。 


健康 的 团队 需要 不 同 风 格 的 人 才 ， 人 员 在 能 力 和 性 格 上 的 差异 性 是 一 种 
团队 财 语 。 为 了 在 团队 中 作出 更 多 的 贡献 ， 测 试 人 员 需 要 主动 了 解 风格 
迎 异 的 同事 ， 并 采用 相应 的 协作 方法 。 这 不 但 会 促成 更 好 的 项 目 团队 ， 
也 会 让 自己 的 职业 发 展 得 到 他 人 的 支持 ， 毕 葛 一 个 善于 协作 的 人 总 是 能 
获得 更 多 的 资源 和 帮助 的 。 









































8.2 ”面向 测试 的 项 目 分 析 


在 软件 项 目 中 ,项目 团队 会 实施 多 种 分 析 和 上 度量 方法 ， 来 评估 产品 质量 
和 监控 开发 过 程 。 测 试 人 员 也 可 以 建立 一 些 度量 ， 来 了 解 项 目 情况 ， 从 
而 为 测试 设计 提供 更 多 的 信息 。 为 了 获得 较 全 面 的 认 知 ， 他 应 该 周期 性 
地 分 析 多 个 项 目 元 素 ， 将 片段 的 信息 汇聚 成 完整 的 图 景 。 为 此 ， 本 万 将 
从 测试 设计 的 角度 ， 讨 论 几 种 最 常见 的 分 析 对 象 ， 软件 缺陷 、 源 代码 、 
构建 和 自动 化 测试 。 


8.2.1 软件 缺陷 


2.6 贡 建议 测试 人 员 将 缺陷 管理 系统 视 作 项 目的 知识 库 ， 坚 持 每 天 或 每 
周 阅 读 他 人 提交 的 缺陷 报告 。 在 阅读 时 ， 他 可 以 使 用 一 些 度量 方法 来 分 
析 近 期 提交 的 缺陷 ， 以 一 多 缺陷 概况 ， 并 为 深入 研究 提供 线索 。 


为 了 提高 度量 的 效率 ， 测 试 人 员 应 该 尽 可 能 用 自动 化 的 方法 来 获得 度量 
结果 。 因 为 大 多 数 缺 陷 管 理 系 统 使 用 关系 型 数据 库 来 存储 缺陷 报告 ， 测 
试 人 员 可 以 使 用 SQL (本 节 使 用 Microsoft SQL Server 支 持 的 T-SQL ) 来 
分 析 缺 陷 数 据 。 他 只 需要 向 系统 管理 员 申请 到 数据 库 的 “只 读 " 权 限 ， 就 
可 以 开始 分 析 。 代 码 清 单 8-1 展 现 了 一 个 记录 缺陷 报告 的 数据 表 。 虽 然 
真实 的 缺陷 表 比 它 复 杂 许 多 ， 但 是 它 呈 现 了 缺陷 的 基本 字段 ， 能 够 支持 
一 些 最 常用 的 查询 。 


代码 清单 8-1 缺陷 数据 表 














CREATE TABLE [dbo].[Bug]( 
[ID] [bigint] NOT NULL， 
[Priority] [smallint] NULL, 
[Severity] [smallint] NULL, 
[Path] [nvarchar](2@@) NOT NULL, 
[Title] [nvarchar](100@) NOT NULL, 
[OpenBuild] [nvarchar](2@) NOT NULL, 
[OpenDate] [datetime] NOT NULL, 
[OpenBy] [nvarchar](10) NOT NULL, 
[ResolveDate] [datetime] NULL, 
[ResolvBy] [nvarchar](1@) NULL, 
[Resolution] [nvarchar](2@) NULL, 
[FixBuild] [nvarchar](2@) NULL, 
[CloseDate] [datetime] NULL, 


[CloseBy] [nvarchar](16) NULL, 
[AssignTo] [nvarchar](1@) NULL 
) ON [PRIMARY] 





度量 1: 统计 缺陷 提交 、 解 决 和 关闭 的 数目 








测试 人 员 可 以 用 代码 清单 8-2 所 示 的 查询 来 获得 近 1 个 月 以 来 每 日 提交 的 
缺陷 数 。 这 条 语句 用 WHERE OpenDate >= DATEADD(dd, -30, 
GETDATE()) 节选 出 最 近 30 天 的 缺陷 报告 ， 然 后 用 GROUP BY 

CONVERT (date, OpenDate) 对 缺陷 报告 按 日 期 分 组 ， 最 后 用 SELECT 
COUNT(\*) AS BugCount 统计 出 每 天 的 缺陷 报告 数 。 图 8-2 展 示 了 相应 
它 表 明 测 试 小 组 在 持续 发 现 缺陷 ， 而 且 缺 陷 发 现 的 速度 


























1 我 推荐 用 Microsoft Excel 连 接 数 据 库 ， 将 查询 结果 绘制 为 图 。 具 体 方法 请 参考 我 的 博客 文 
=; http://www.cnblogs.com/liangshi/archive/2012/04/02/2429683.html 
> http://www.cnblogs.com/liangshi/archive/2012/04/02/2429685.html 

> http://www.cnblogs.com/liangshi/archive/2012/04/02/2429688.html 。 











代码 清单 8-2 ”得 询 近 1 个 月 以 来 每 日 提交 的 缺陷 数 


SELECT CONVERT(date, OpenDate) AS OpenDay, COUNT(*) AS BugCount 
FROM dbo.Bug 


WHERE OpenDate >= DATEADD(dd, -3@, GETDATE()) 
GROUP BY CONVERT(date, OpenDate) 





图 8-2 ” 近 1 个 月 以 来 每 日 提交 的 缺陷 数 


除了 分 析 0penDate (缺陷 提交 日 期 ? ， 测 试 人 员 还 可 以 采用 与 代码 清 
单 8-2 相 似 的 查询 来 分 析 ResolveDate (缺陷 解决 日 期 和 CloseDate 
(缺陷 关闭 日 期 一 一 通常 是 测试 人 员 检 查 缺 陷 修复 的 日 期 。 这 样 可 以 
了 解 解决 缺陷 的 速度 和 检查 修复 的 速度 。 


他 还 可 以 运行 代码 清单 8-3， 来 查询 近 1 个 月 以 来 的 缺陷 提交 数 、 解 决 数 
和 关闭 数 。 如 果 缺 陷 解决 数 远 小 于 缺陷 提交 数 ， 那 么 编程 小 组 可 能 没有 
足够 的 时 间 来 修复 缺陷 。 如 宋 缺 陷 关 闭 数 远 小 于 缺陷 修复 数 ， 那 么 汕 试 
小 组 可 能 没有 足够 的 时 间 来 检查 缺陷 修复 。 这 都 是 项 目 风险 ， 需 要 及 时 
问 测 试 经 理 汇报 ， 以 便 项 目 管理 者 作出 必要 的 调整 。 


代码 清单 8-3 ” 近 1 个 月 以 来 的 缺陷 提交 数 、 解 决 数 和 关闭 数 














SELECT 
COUNT(*) AS OpenCount 
, SUM(CASE WHEN ResolveDate IS NULL THEN @ ELSE 1 END) AS ResolveCount 
, SUM(CASE WHEN CloseDate IS NULL THEN @ ELSE 1 END) AS CloseCount 
FROM dbo.Bug 


WHERE OpenDate > DATEADD(dd, -3@, GETDATE()) 





度量 2: 统计 员工 提交 、 解 决 和 关闭 缺陷 的 数目 


然后 ， 他 可 以 使 用 代码 清单 8-4 所 示 的 SQL 语句 来 查询 提 交 人 缺陷 最 多 的 
10 个 人 ， 其 结果 如 图 8-3 所 示 。 该 SQL 语句 用 NITH 子 句 对 OpenBy 〈 提 





交 者 ) 分 组 ， 获 得 每 位 员工 在 最 近 30 天 所 提交 的 缺陷 数 ， 然 后 利 

用 ORDER BY BugCount DESC 和 SELECT TOP 10 查询 出 提交 缺陷 最 多 
的 10 个 人 。 利 用 该 查询 ， 测 试 人 员 可 以 知道 谁 提交 了 最 多 的 缺陷， 并 评 
估 自 己 发 现 的 缺陷 数 在 团队 中 处 于 什么 位 次 。 


代码 清单 8-4 ” 近 1 个 月 来 提交 缺陷 最 多 的 10 位 员工 


WITH BugHunter AS ( 
SELECT OpenBy, COUNT(*) AS BugCount 
FROM dbo.Bug 
WHERE OpenDate >= DATEADD(dd, -30, GETDATE()) 
GROUP BY OpenBy 


) 
SELECT TOP 10 OpenBy, BugCount 


FROM BugHunter 
ORDER BY BugCount DESC 
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图 8-3 近 1 个 月 来 提交 缺陷 最 多 的 10 位 员工 


通常 ， 那 些 及 现 较 多 缺陷 的 员工 对 产品 比较 了 解 ， 能 够 想 出 许多 针对 产 
品 弱点 的 测评 想法。 测试 人 员 应 该 保持 谦虚 的 心态 ， 认 真 阅 读 他 们 的 缺 


陷 报告 ， 以 积累 产品 知识 和 测试 想法 。 在 此 过 程 中 ， 他 可 以 用 以 下 问题 
来 驱动 阅读 。 


。 缺陷 提交 者 是 如 何 发 现 该 缺陷 的 ? 他 利用 了 哪些 产品 知识 ?利用 了 
何 种 测试 策略 ? 


。 我 能 舍利 用 这 些 知识 和 和 集 略 来 增强 我 的 测试 ?能 舍 在 此 基础 上 友 展 
出 更 有 具 威 力 的 集 略 ? 


。 该 缺陷 是 什么 类 型 的 缺陷 ? 它 反 应 了 产品 在 哪 方 面 存在 弱 反 ? 


。 缺陷 管理 系统 中 还 存在 类 似 的 缺陷 吗 ? 能 人 否 提炼 出 这 些 缺 陷 的 共 
人 
测试 策略 ? 


除了 分 析 0penBy 《缺陷 提交 者 ) ， 测 试 人 员 还 可 以 采用 与 代码 清单 8-4 
相似 的 查询 来 分 析 ResolveBy RRRA) 和 CloseBy (缺陷 关闭 
者 一 一 通常 也 是 缺陷 修复 的 检验 者 ) 。 这 样 可 以 了 解 谁 修复 了 最 多 的 缺 
陷 、 谁 检查 了 最 多 的 修复 ， 从 而 了 解 项 目 团队 的 工作 情况 。 


度量 3: 统计 每 个 模块 的 新 增 缺陷 数 


测试 人 员 可 以 使 用 代码 清单 8-5 分 析 缺 陷 在 不 同 模块 的 分 布 。 这 段 代 码 
假定 缺陷 报告 的 路 径 的 格式 是 “ 父 模块 \ 子 模块 \ 孙 模块 >， 即 路 径 是 

以 “为 分 隔 符 的 模块 序列 。 代 码 使 用 “RIGHT([Path]， 
CHARINDEX('\\', REVERSE([Path]))) ”获得 最 后 一 个 "之 后 的 模块 
名 ， 即 路 径 末端 的 模块 名 。 图 8-4 显 示 了 查询 结果 ， 它 指出 模块 M1 的 缺 
陷 异 乎 寻常 地 多 。 这 暗示 测试 人 员 应 该 去 阅读 该 模块 的 缺陷 报告 ， 以 调 
查 它 为 什么 有 如 此 多 的 缺陷 。 在 许多 时 候 ， 发 现 缺陷 较 多 的 模块 还 隐藏 
了 不 少 尚 未 发 现 的 缺陷 。 通 过 阅读 缺陷 报告 ， 测 试 人 员 可 以 发 气 缺 陷 多 
发 的 根源 ， 从 而 制定 出 有 针对 性 的 测试 策略 。 


代码 清单 8-5 “” 近 1 个 越 来 缺陷 在 不 同 模块 的 分 布 














SELECT [PATH] 
, RIGHT([Path], CHARINDEX('\', REVERSE([Path]))) AS Module 
， COUNT(*) AS BugCount 

FROM dbo.Bug 

WHERE OpenDate > DATEADD(dd, -3@, GETDATE()) 


GROUP BY [Path] 
HAVING COUNT(*) > 4 
ORDER BY BugCount DESC 
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图 8-4 近 1 个 月 来 缺陷 在 不 同 模块 的 分 布 
度量 4: 统计 缺陷 解决 方案 的 分 布 


测试 人 员 可 以 分 析 自 己 所 提交 的 缺陷 是 如 何 被 解决 的 。 代 码 清 单 8-6 通 
过 WHEREOpenBy =“ 涵 " 筛选 出 特定 测试 人 员 提 交 的 缺陷 用 GROUP 
BY Resolution 对 解决 方案 分 组 ， 进 而 统计 出 每 种 方案 的 缺陷 数 。 图 
8-5 是 用 Excel 绘 制 的 查询 结果 分 布 图 。 该 图 表明 ， 有 52% 的 缺陷 被 解决 
为 “不 能 重 现 ”， 这 暗示 测试 手段 和 缺陷 报告 存在 改进 的 空间 。 测 试 人 员 
应 该 仔细 阅读 那些 “不 能 重 现 ”的 缺陷 报告 ， 分 析 不 能 重 现 的 原因 ， 并 采 
取 改 进 措 施 〈 可 参考 2.2.3 节 介绍 的 方法 ) 。 


代码 清单 8-6 ”缺陷 解决 方案 分 类 统计 





SELECT Resolution, COUNT(*) AS BugCount 
FROM dbo. Bug 

WHERE OpenBy =“ 涵 ' 

GROUP BY Resolution 


n 符合 设计 

= 重复 提交 

= 不 予 修复 
不 能 重 现 
修复 





图 8-5 ”缺陷 解决 方案 分 类 统计 


本 贡 介 绍 了 几 种 简单 的 缺陷 度量 方法 ， 它 们 从 不 同 的 角度 分 析 已 提交 的 
缺陷 报告 ， 可 为 进一步 的 技术 调查 提供 线索 。 这 些 度量 值 只 反应 了 产品 
缺陷 和 团队 工作 的 一 小 部 分 信息 。 为 了 获得 更 透彻 的 理解 ， 测 试 人 员 需 
要 仔细 阅读 缺陷 报告 ， 挖 据 典 型 缺陷 、 测 试 策 略 和 项 目 风险 ， 并 将 研究 
成 末 分 享 给 团队 成 员 。 其 他 成 员 根 据 其 知识 和 经 验 ， 能 够 补充 更 多 的 信 
恩 ， 从 而 获得 更 完整 的 成 果 。 


8.2.2 JRA 


7.1.1 节 已 经 介绍 了 如 何 通 过 度量 源 代码 来 获得 测试 灵感 ， 本 市 仅 做 一 些 
延伸 讨论 。 研 究 源 代码 的 基本 思路 仍 是 用 简单 的 度量 获得 代码 的 基本 信 
恩 ， 再 通过 代码 阅读 去 产生 训 试 想法 。 


代码 清单 8-7 展 示 了 一 段 PowerShell 脚 本 ， 它 分 析 当 前 目录 及 其 子 目 录 下 
的 所 有 C# 文 件 ， 并 输出 文件 目录 、 文 件 名 、 文 件 行 数 和 代码 复杂 度 到 控 
制 台 。 其 中 ， 代 码 复杂 性 的 度量 方法 是 : 文件 的 复杂 上 度 = 文件 中 分 文 
与 循环 关键 字 的 个 数 *《〈 文 件 的 行 数 +1) 。 代 码 清单 8-7 所 选择 的 分 文 























与 循环 关键 字 是 if 、case 、for 、foreach 、while 。 这 是 一 种 基于 
文本 分 析 的 代码 度量 ， 能 够 用 很 简单 的 脚本 去 获得 一 些 基 本 信息 ， 为 后 
续 的 代码 阅读 提供 情报 。 


代码 清单 8-7 分析 C# 文 件 的 行 数 和 代码 复杂 上 度 





$root = Get-Location 
"Folder tFile tLineCount tComplexity" 
Get-ChildItem *.cs -Recurse | %{ 
$folderName = $_.DirectoryName.Substring($root.Path.Length) ; 
$lines = Get-Content $ .FullName 
$lineCount = $lines.Length 
¢opCount = ($lines | foreach { $_.split() } | 


where { $_ -in (‘if', ‘'case', 'for', 'foreach', ‘while') }).Length 
$complexity = $opCount / ($lineCount + 1) 
"$folderName t$($_.Name) t$lineCount > t$complexity"” 








测试 人 员 用 代码 清单 8-7 分 析 NUnit 2.6.2 的 代码 ， 并 将 结果 重 定向 到 文本 
i H, 4 Microsoft Excel 打 开 该 文本 文件 ， 获 得 如 图 8-6 所 示 的 数据 


A B C D 
1 
2 |\src\NUnitCore\core MethodHelper.cs 191 0.255208333 
3 \src\NUnitCore\core TypeHelper.cs 211 0.245283019 
4 |\src\NUnitCore\interfaces\Extensibilit ITestCaseProvider.cs 60 0.213114754 
5 \src\NUnitCore\core TestCaseBuilderAttribute.cs 18 0.210526316 
6 \src\NUnitfFramework\framework\Con Numerics.cs 363 0.18956044 
7 \src\NUnitCore\core\Extensibility TestCaseProviders.cs 133 0.186567164 
8 \src\NUnitCore\interfaces\Extensibilit IExtensionPoint.cs 65 0.181818182 
9 |\src\NUnitCore\core\Extensibility DataPointProviders.cs 116 0.179487179 
10 |\src\NUnitCore\interfaces\Extensibilit IDataPointProvider.cs 62 0.174603175 


图 8-6 NUnit2.6.2 的 代码 行 数 和 复杂 度 


基于 该 数据 表 ， 可 以 快速 找 出 复杂 度 最 高 的 10 个 文件 ， 结 果 见 图 8-7。 
复杂 度 高 的 文件 往往 包含 复杂 的 逻辑 ， 在 代码 修改 的 过 程 中 更 可 能 引入 
缺陷 。 因 此 ， 测 试 人 员 可 以 浏览 这 些 高 复杂 上 度 的 文件 ， 了 解 它们 的 功 





能 ， 并 构思 相应 的 测试 用 例 。 


MethodHelper.cs 
TypeHelpercs 
ITestCaseProvider.cs 
TestCaseBuilderAttribute.cs 
Numerics.cs 
TestCaseProviders.cs 
IExtensionPoint.cs 
DataPointProviders.cs 


IDataPointProvider.cs 


FileAssert.cs 
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图 8-7 ”NUnit2.6.2 中 复杂 度 最 高 的 10 个 C# 文 件 





代码 清单 8-8 展 示 了 复杂 度 最 高 的 MethodHelper.cs 的 部 分 代码 。 这 段 

代码 检查 输入 参数 (arg ) 的 类 型 ， 并 根据 它 的 类 型 和 值 决定 显示 字符 

Ht (display ) 的 值 。 因 为 要 处 理 每 种 可 能 的 类 型 和 特殊 取 值 ， 所 以 它 

HAITZ REKI 语句 ， 导 致 了 最 高 的 复杂 度 。 针 对 此 类 代码 ， 测 斌 

人 员 可 以 从 以 下 角度 构思 测试 。 

。 代码 是 否 处 理 了 arg 的 所 有 情况 ?长 长 的 1f-else 语句 有 没有 漏 扼 

arg 的 一 个 可 能 类 型 ? ARA Warg 的 一 个 特殊 取 值 ? 此 类 遗漏 
会 导致 何 种 问题 ? 能 不 能 构造 测试 输入 来 暴露 问题 ? 


。 的 逻辑 是 否 正确 ? 字符 串 display 的 构造 逻辑 是 否 正 
确 ? 


。 现 有 的 测试 用 例 是 否 实现 了 100% 的 分 支 履 盖 率 ? 如 果 没 有 ， 需 要 
补充 哪些 测试 用 例 ? 


代码 清单 8-8 ”复杂 度 最 高 的 文件 MethodHelper.cs (局 部 ) 


else if (arg is long) 





long 1 = (long)arg; 
if (1 == long.MinValue) 
display = "long.MinValue"; 
else if (1 == long.MinValue) 
display = "long.MaxValue"; 
else 
display += "L"; 


else if (arg is ulong) 
{ 
ulong ul = (ulong)arg; 
if (ul == ulong.MinValue) 
display = “ulong.MinValue" ; 
else if (ul == ulong.MinValue) 
display = "“ulong.MaxValue" ; 
else 
display += "UL"; 


else if (arg is string) 

{ 
StringBuilder sb = new StringBuilder() ; 
sb.Append("\""); 
foreach (char c in (string)arg) 

sb.Append(EscapeControlChar(c)); 

sb.Append("\""); 
display = sb.ToString(); 


else if (arg is char) 





除了 调查 复杂 的 代码 ， 测 试 人 员 还 可 以 利用 Excel 的 数据 透视 表 统 计 出 
每 个 模块 《目录 ) 的 复杂 度 的 累加 值 ， 结 果 见 图 8-8。 这 些 模块 通常 拥 
有 较 多 的 代码 和 较 复 杂 的 功能 ， 更 容易 发 生 错误 ， 古 重点 测试 的 候选 对 
象 。 测 试 人 员 可 以 浏览 其 源 代码 来 识 列 测试 对 象 ， 并 确定 测试 策略 。 


\sre\NUnitCore\core 
\src\NUnitFramework\framework\Constraints 


\sre\ClientUtilities\util 


ES 
PE 
ER 
\src\NUnitFramework\framework\Attributes ES 
\src\NUnitCore\core\Builders BT 
\src\GuiComponents\UiKit BET 
\src\NUnitFramework\framework MEMME 
\src\NUnitCore\interfaces\Extensibility Be 
\src\NUnitCore\tests SEE 
Sara 


\sre\NUnitCore\interfaces 


图 8-8 NUnit2.6.2 F & 78/2 AIE i 107 Ae 


测试 人 员 可 以 定期 运行 代码 度量 ， 以 持续 监控 代码 的 变化 。 通 过 比较 当 
前 的 度量 值 和 之 前 的 度量 值 ， 他 可 以 识别 出 代码 行 数 和 复杂 度 增 幅 较 大 
的 文件 与 目录 。 基 于 该 信息 ， 他 会 调查 代码 变动 的 原因 ， 并 评估 风险 。 
这 为 及 时 调整 测试 重点 提供 了 文 持 。 


8.2.3 ”构建 


大 多 数 团 队 都 部 普 了 专门 的 构建 服务 器 ， 实 施 持续 的 目 动 化 构建 。 因 为 
源 代码 和 构建 是 软件 研发 的 工作 核心 ， 测 试 人 员 应 该 了 解 代码 签 入 和 构 
建 的 规章 流程 ， 从 而 更 好 地 为 项 目 团队 服务 。 以 下 是 一 些 稼 见 的 基本 问 
题 。 


。 在 签 入 之 前 ， 产 品 代 码 需要 满足 什么 要 求 ? 程序 员 需 要 做 什么 工 
作 ? 测试 人 员 需 要 做 什么 工作 ? 


。 如 果 签 入 的 代码 导致 构建 失败 ， 构 建 服务 器 会 如 何 处 理 ? 谁 会 负责 
通报 此 问题 ? 谁 会 负责 修复 构建 ? 


。 构建 服务 器 产生 新 构建 需要 多 长 时 间 ? 如 果 程 序 员 今天 下 班 前 签 入 
代码 ， 明 天 早晨 能 够 获得 可 测试 的 构建 吗 ? 


。 产品 团队 有 时 需要 发 布 一 个 紧急 的 产品 补丁 或 快速 修复 线 上 系统 的 
缺陷 。 对 于 此 类 重要 且 紧 过 的 代码 修改 ， 项 目 团 队 制定 了 什么 流 























T? 也 许 ， 在 代码 签 入 之 前 ， 测 试 人 员 需 要 测试 程序 员 提 供 的 私有 
构建 。 对 此 ， 测 试 完成 的 标准 是 什么 ? 在 签 入 之 后 ， 测 试 人 员 需 要 
检验 新 的 构建 确实 包含 预期 的 修复 。 对 此 ， 测 试 完成 的 标准 是 什 
Aa? 





在 签 入 之 前 ， 测 试 代 码 需要 满足 什么 要 求 ? 测试 人 员 应 该 如 何 保证 
目 己 的 代码 达到 团队 制定 的 质量 标准 ? 


在 了 解 了 基本 流程 之 后 ， 测 试 人 员 可 以 考虑 如 何 利 用 源 代码 服务 器 和 构 
建 服务 占 为 测试 服务 。 以 下 是 一 些 和 常见 的 做 法 。 


在 代码 变更 集 被 提交 后 ， 大 多 数 源 代 码 管理 系统 会 发 送 邮 件 ， 列 出 
签 入 和 被 修改 的 文件 。 测 试 人 员 可 以 在 邮件 系统 中 设置 规则， 为 此 
类 邮件 自动 加 上 标签 ， 或 移动 到 指定 的 邮件 目录 。 然 后 ， 他 可 以 每 
天 花 几 分 钟 时 间 ， 浏 览 最 新 的 代码 签 入 邮件 ， 识 别 出 与 自己 所 负责 
模块 紧密 相关 的 代码 改动 。 对 于 这 些 改动 ， 他 可 以 再 多 花 一 些 时 
间 ， 碍 看 哪些 具体 代码 发 生 了 改动 ， 并 评估 其 风险 。 软 件 项 目 时 刻 
变动 ， 测 试 人 员 很 难 准确 预测 所 有 的 代码 变更 。 持 续 监 控 代 码 签 入 
能 够 帮助 测试 人 员 及 时 发 现 值得 测试 的 内 容 。 


通常 构建 服务 器 将 产生 的 构建 放 在 一 个 共享 文件 夹 中 。 测 试 人 员 可 
以 编写 一 个 脚本 去 获得 最 新 的 安装 文件 ， 或 指定 版 本 的 安装 文件 。 
假设 ， 构 建 服务 将 所 有 构建 保存 在 共享 文件 夹 \\builds\product_abc 
中 ， 每 个 构建 拥有 单独 的 子 文件 来， 文件 夹 的 命名 模式 是 “[ 构 建 
号 ] [构建 类 型 ] [平台 ]*。 其 中 ,构建 号 形 如 1.0.1( 由 数字 和 点 构成 
的 字符 串 ) ， 构 建 类 型 的 取 值 是 release 、debug 和 cover ,平台 
的 取 值 是 x64 和 x86。 因 此 ， 构 建 的 文件 路 径 类 似 于 
\\builds\product_abc\1.0.1_x64_ship. 
Nbuilds\product_abc\1.0.2_x86_debug 等 。 代 码 清 单 8-8 是 一 个 
IronPython 脚 本 get_build.py， 它 搜索 存放 构建 的 共享 文件 夹 ， 获 得 
所 有 子 目录 ， 并 反 转 子 目录 列表 ， 使 得 构建 和 写 高 的 文件 夹 排 在 前 
面 。 之 后 ， 它 扫描 文件 夹 列表 ， 如 果 某 个 文件 夹 符 合用 户 指 定 的 构 
建 号 、 构 建 类 型 或 平台 ， 它 就 会 输出 安装 文件 的 路 径 ， 并 将 该 路 径 
复制 到 剪贴 板 。 如 果 用 户 不 指定 构建 号 、 构 建 类 型 或 平台 ， 脚 本 会 
使 用 这 些 参数 的 默认 值 : 构建 号 是 “.”( 它 可 匹配 任意 构建 号 ) ， 构 
建 类 型 是 ship， 平 台 是 x64。 此 时 ， 脚 本 会 选择 最 新 的 x64 平 台 的 
ship 类 型 的 构建 。 利 用 该 脚本 ， 测 试 人 员 只 需 运 行 一 条 命令 ， 就 可 
以 获得 最 新 的 或 特定 的 安装 文件 的 路 径 ， 而 省 去 了 手工 搜索 构建 路 















































径 的 开销 。 


。 基于 代码 清单 8-9， 测 试 人 员 可 以 编写 一 个 脚本 ， 以 目 动 安装 最 新 
的 构建 。 利 用 操作 系统 的 定时 任务 ， 他 可 以 安排 测试 机 在 每 天 清晨 
目 动 反 安装 产品 ， 然 后 安装 最 新 构建 。 当 他 上 班 的 时 候 ， 测 试 机 已 
经 准备 好 了 最 新 版 本 的 产品 供 他 测试 。 


代码 清单 8-9 get build.py 








import System, sys, clr 
clr.AddReference("System.Windows.Forms” ) 
import System.Windows.Forms.Clipboard as Clipboard 


def find_value(argv, *values): 
for v in values: 
if v in argv: 
return v 
return values[@] 


def find_build_number (argv): 
for a in argv: 
if '.' ina: 
return a 
return ' 


argv = sys.argv[1: ] 

build_number = find_build_number (argv) 

flavor = find_value(argv, ‘release’, 'debug', ‘cover') 
platform = find _value(argv, 'x64', 'x86') 


root = r'\\builds\product_abc\2.0' 
folders = System.1I0.Directory.GetDirectories(root) 
for folder in reversed(folders): 
if (build_num in folder 
and build in folder 
and platform in folder): 
setup = r'%s\setup.exe ' % folder 
print setup 
Clipboard.SetText (setup) 
break 


# usage: 
# ipy.exe get_build.py [build_umber] [release|debug|cover] [x64|x86] 


pT 


8.2.4 自动 化 测试 
许多 项 目 团 队 都 使 用 自动 化 测试 来 检查 构建 的 质量 ， 典 型 的 工作 流程 如 
下 。 


1. 构建 系统 生成 新 的 构建 ， 然 后 通知 目 动 化 测试 系统 。 
2. 目 动 化 测试 系统 配置 测试 环境 ， 并 部 署 新 构建 。 

3. 目 动 化 测试 系统 从 上 自动 化 测试 仓库 获得 BVT 集 
4. 目 动 化 测试 系统 运行 测试 集合 ， 并 将 结果 存 入 测试 结果 仓库 。 


5. 如 果 BVI 结 果 显 示 新 构建 质量 民 好 ， 可 以 进一步 测试 ， 目 动 化 测试 系 
统 获得 其 他 可 用 的 测试 集合 。 


6. 目 动 化 测试 系统 运行 测试 集合 ， 并 将 结果 存 入 测试 结果 仓库 。 


其 中 ， 说 执行 的 上 自动化 测试 用 例 往 往 由 测试 小 组 编写 ， 模 块 的 测试 负责 
人 会 编写 该 模块 的 测试 用 例 。 为 了 更 好 地 维护 测试 用 例 集合 ， 测 试 人 员 
应 该 周期 性 地 调查 儿 个 基本 的 问题 ， 并 根据 调查 结果 制定 相应 的 行动 方 


K 


问题 1， 目 动 化 测试 的 反馈 频率 如 何 ? 


运行 自动 化 测试 的 目的 是 持续 、 快 速 、 稳 定 地 获得 产品 质量 的 有 反馈， 所 
以 测试 人 员 需 要 了 解 自 动 化 测试 的 反馈 频率 。 在 许多 小 型 项 目 中 ， 项 目 
团队 会 每 天 运行 所 有 的 上 自动 化 测试 用 例 。 因 此 ， 测 试 人 员 可 以 确信 新 签 
入 的 代码 在 24 小 时 之 内 会 被 所 有 测试 用 例 检 查 。 在 茶 些 大 型 项 目 中 ， 目 
动 化 测试 的 数目 非常 庞大 ， 测 试 小 组 将 它们 分 成 几 个 集合 ， 以 不 同 的 频 
率 运 行 。 对 此 ， 训 试 人 员 需 要 调查 几 个 有 具体 问题 。 


。 目 动 化 测试 拥有 哪 几 个 测试 集合 ? 例如 ， 一 些 测试 小 组 会 根据 测试 
的 性 质 ， 将 测试 用 例 划分 为 : BVI 集 合 、 基 本 功能 测试 集合 、 完 整 
功能 测试 集合 、 性 能 测试 集合 。 


n> 
































每 个 测试 集合 以 什么 频率 运行 ? 每 次 运行 需要 多 长 时 间 ? 例如 ， 在 
某 个 测试 小 组 中 ，BVT 每 天 运行 多 次 〈 耗 时 2 小 时 ) ， 基 本 功能 测 
试 集合 每 天 运行 1 次 〔 耗 时 12 小 时 ) ， 完 整 功能 测试 集合 每 周 运行 1 
次 〈 耗 时 48 小 时 ) ， 人 性 能 测试 集合 每 2 周 运 行 1 次 《〈 耗 时 48 小 时 ) 。 


。 在 自己 负责 的 测试 用 例 中 ， 哪 些 应 该 以 更 高 的 频率 执行 ? 哪些 可 以 
用 较 低 的 频率 执行 ? 


调查 以 上 问题 的 目的 是 优化 测试 集合 ， 使 高 频率 运行 的 测试 集合 用 较 短 
的 时 间 发 现 严重 的 缺陷 《这些 缺陷 往往 使 后 续 的 测试 集合 遭遇 大 规模 的 
失败 ) ， 使 低频 率 运 行 的 测试 集合 用 较 充 裕 的 时 间 发 现 余 下 的 缺陷。 基 
本 目标 是 既 可 以 尽早 发 现 严 重 的 缺陷 ， 又 确保 高 频率 的 测试 集合 在 规定 
时 间 内 完成 。 测 试 人 员 应 该 检查 自己 的 测试 用 例 ， 将 重要 的 用 例 移入 高 
频率 的 测试 集合 ， 将 不 太 重 要 的 用 例 移 入 低频 率 的 测试 集合 。 对 于 新 加 
入 团队 且 接 手 一 批 目 动 化 测试 的 测试 人 员 ， 这 是 一 项 “必修 ”的 功课 。 


问题 2， 自 动 化 测试 履 盖 了 哪些 测试 点 ? Be Ae a AB EE A Ra? 


测试 人 员 应 该 定期 检查 自己 负责 的 自动 化 测试 ， 以 评估 他 们 履 盖 了 哪些 
需求 、 功 能 、 质 量 特性 、 用 户 情景 等 测试 点 。 其 目标 是 了 解 自动 化 测试 
已 经 测试 了 哪些 内 容 一 一 这 些 内 容 无 需 手 工 重复 测试 。 更 重要 的 是 了 解 
自动 化 测试 没有 测试 哪些 内 容 ， 并 制订 相应 的 行动 计划 。 以 下 是 一 些 党 
见 的 测试 方案 。 


。 补充 目 动 化 测试 用 例 以 提高 测试 效率 。 有 些 功 能 是 产品 的 基础 ， 测 
试 人 员 应 该 尽快 发 现 其 中 的 严重 错误 。 然 而 ， 每 天 手工 地 检查 会 耗 
费 太 多 资源 ， 且 占用 了 测试 其 他 功能 的 时 间 。 一 种 合理 的 策略 是 编 
写 测 试用 例 ， 上 履 兰 重要 功能 的 基本 使 用 情景 ， 并 将 测试 用 例 加 入 每 
日 运行 的 测试 用 例 集 。 这 样 ， 测 试 人 员 可 以 在 24 小 时 内 发 现 破 环 产 
品 基础 功能 的 严重 缺陷 。 


种 充 自 动 化 测试 用 例 以 提高 测试 能 力 。 有 些 极 具 价值 的 测试 只 能 

计算 机 执行 ， 例 如 6.4 市 介绍 的 大 规模 上 自动 化 测试 ， 它 利用 计算 机 

(集群 的 强大 性 能 执行 海量 测试 用 例 ， 提 供 了 手工 测试 无 法 匹敌 
的 强力 检查 。 此 外 ， 有 些 测试 涉及 复杂 的 计算 ， 手 工 执行 容易 出 错 
且 令 人 疲倦 。 对 此 ， 可 考虑 构建 数据 驱动 的 上 自动 化 训 试 ， 通 过 持续 
增强 测试 数据 ， 来 逐渐 提高 对 各 种 计算 情况 的 测试 覆盖 o 





























。 补充 目 动 化 测试 用 例 以 弥补 测试 漏洞 。 在 项 目 过 程 中 ， 测 试 人 员 和 
产品 试用 者 会 发 现 许 多 缺陷 。 某 些 缺 陷 很 容易 通过 上 自动 化 测试 来 捕 
获 ， 但 是 由 于 自动 化 测试 集合 不 够 严密 ， 它 们 成 为 “漏网 之 鱼 ”。 在 
处 理 软件 缺陷 时 ， 测 试 人 员 可 以 目 间 : 我 可 以 通过 增强 自动 化 测试 
来 发 现 此 类 缺陷 吗 ? 需要 付出 多 少时 间 才 能 完成 ? 如 果 所 需要 的 时 
人 
测试 用 例 。 


补充 手工 测试 或 半自动 化 测试 以 确保 在 产品 发 布 前 测试 相关 内 容 。 
在 紧张 的 进度 压力 下 ， 可 能 没有 时 间 构 造 大 量 的 自动 化 测试 。 测 试 
人 员 需 要 制订 切实 可 行 的 测试 计划 ， 综 合 利用 自动 化 测试 、 半 上 自动 
化 测试 和 手工 测试 ， 让 测试 工作 在 项 目 结束 前 达到 测试 完成 的 标 
准 。 


问题 3， 有 哪些 测试 用 例 需要 重 构 ? 有 哪些 测试 用 例 可 以 退役 ? 


测试 人 员 应 该 定期 检查 自动 化 测试 的 结果 ， 以 发 现 那 些 失败 率 特别 高 的 
测试 用 例 ， 并 分 析 失 败 的 原因 。 许 多 时 候 ， 测 试用 例 经 常 失 败 是 因为 测 
试 代码 不 够 健壮 ， 不 能 够 妥善 处 理 产 品 运行 过 程 中 的 种 种 情况 。 此 类 大 
出 虚假 警报 的 测试 用 例 给 自动 化 测试 带 来 了 负面 影响 。 一 方面 ， 测 试 人 
员 花 费 了 宝贵 的 时 间 去 调查 测试 失败 ， 却 不 能 发 现 产 品 缺陷 ， 男 一 方 
面 ， 虚 假 的 警报 降低 了 测试 用 例 集 的 可 信和 度 ， 久 而 久之 ， 测 试 人 员 会 对 
测试 失败 习以为常 ， 降 低 侦 测 产 品 缺 陷 的 警觉 性 。 所 以 ， 测 试 人 员 应 该 
严肃 对 竺 不 民 测 试 代 码 ， 尽 可 能 将 其 重 构 为 稳健 的 代码 。 软 件 开 发 专家 
Gerard Meszaros 的 著作 xUnit Test Patterns: Refactoring Test Code 
[Meszaros07] 详 细 描 述 了 测试 代码 的 “ 坏 味道 "， 并 给 出 了 一 批 重 构 手法 
和 测试 设计 模式 ， 值 得 测试 人 员 参 考 。 


随 着 产品 的 及 展 ， 有 些 测试 用 例 的 迎 辑 已 经 不 能 反映 当前 产品 的 状态 ， 

属于 过 时 的 测试 代码 。 还 有 一 些 测 试用 例 的 检查 远 辑 已 经 被 其 他 测试 用 
例 所 实现 ， 属 于 “元 余 的 ?测试 用 例 。 为 了 提高 测试 集合 的 运行 速度 和 稳 
定性 ， 测 试 人 员 可 以 考虑 让 这 些 测 试用 例 退 役 。 如 果 测 试 人 员 担 心 去 除 
测试 用 例会 降低 测试 宪 盖 紊 ， 他 可 以 检查 代码 宪 蓄 率 来 确认 删除 测试 

是“ 安全 的 ”。 在 不 显著 降低 履 兰 率 的 情况 下 ， 一 个 稳定 且 快 速 的 测试 用 
例 集 要 明显 优 于 一 个 缓慢 且 脆 弱 的 测试 用 例 集 。 


问题 4: 除了 定期 运行 的 上 自动 化 测试 ， 还 有 哪些 测试 用 例 和 测试 工具 ? 














在 一 些 历史 悠久 的 项 目 中 ， 项 目 团 队 常 第 积 宗 了 大 批 的 自动 化 测试 用 
例 。 茶 些 测试 用 例 并 没有 加 入 正式 的 测试 集合 。 相 关 测 试 负 责 人 会 在 合 
适 的 时 候 《〈《 如 产品 发 布 前 、 项 目 里 程 碑 结束 前 ) 运行 它们 ， 以 实施 特定 
角度 的 测试 。 例 如 ， 一 些 项 目 团队 会 安排 专人 负责 压力 测试 ， 他 维护 了 
一 组 自动 化 测试 。 在 为 期 一 个 月 的 达 代 开发 中 ， 他 会 选择 一 个 周末 ， 让 
自动 化 测试 反复 执行 ， 以 其 露骨 尝 、 死 锁 、 内 存 泄漏 等 问题 。 周 一 ， 他 
会 调查 测试 日 志 ， 并 提交 缺陷 报告 。 新 加 入 团队 的 测试 人 员 应 该 了 解 这 
些 被 暂时 “隐藏 ”的 测评 用例， 考虑 能 否 利用 它们 来 提高 自己 的 测试 效 
率 。 例 如 ， 他 可 以 考虑 为 目 己 的 模块 编写 一 些 目 动 化 测试 ， 加 入 压力 测 
试 集合 ， 从 而 让 周末 执行 的 压力 测试 能 够 发 现 该 模块 的 缺陷 ， 以 及 该 模 
块 和 其 他 模块 交互 所 导致 的 错误 。 


除了 目 动 化 测试 用 例 ， 项 目 团 队 会 拥有 一 批 实 用 工具 。 它 们 通常 切合 软 
件 产品 或 技术 平台 的 特征 ， 能 够 帮助 测试 人 员 蜗 效 地 完成 配置 环境 、 部 
蜀 产 品 、 运 行 测试 、 调 试 诊断 等 任务 。 有 些 工 具 虽 不 常用 ， 但 对 于 解决 
特定 类 型 的 问题 ， 是 不 可 或 缺 的 利器 。 测 试 小 组 新 人 应 该 询问 领导 和 同 
事 ， 了 解 团 队 的 测试 工具 及 其 用 途 。 这 不 但 会 提高 测试 人 员 的 工作 效 
率 ， 而 且 可 以 帮助 他 更 好 地 理解 产品 和 技术 。 


由 本 市 的 讨论 可 知 ， 研 究 与 维护 自动 化 测试 的 目的 是 提高 软件 测试 的 效 
率 。 为 此 ， 测 试 人 员 需 要 根据 项 目的 测试 党 略 ， 注 重 实 效 地 发 展 目 动 化 
测试 。 随 独 项 目的 发 展 ， 他 需要 持续 地 分 析 并 调整 自动 化 测试 ， 让 和 它 快 
速 、 稳 定 、 有 效 地 提供 软件 的 质量 反馈 。 



































8.3 ”基于 风险 的 测试 


聚焦 风险 是 一 种 基本 的 测试 策略 ， 而 风险 是 大 多 数 测试 活动 需要 考虑 的 
基本 元 素 。 对 于 产品 而 言 ， 风 险 是 产品 可 能 遭遇 的 失败 。 无 论 失 败 原 因 
是 逻辑 错误 还 是 能 力 局 限 ， 只 要 潜在 的 失败 危害 了 用 户 价值 ， 就 构成 了 
风险 。 对 于 项 目 而 言 ， 风 险 是 令 项 目 产 生 不 良 结果 的 事件 ， 或 不 良 结果 
AS [DeMarco03]。 在 概念 上 上， 项目 风险 涵盖 了 产品 风险 ， 即 产品 可 能 
遭遇 失败 是 一 种 典型 的 项 目 风 险 。 


基于 风险 的 测试 “简称 “风险 测试 ”>) 是 针对 特定 风险 设计 并 运行 测试 ， 
以 暴露 导致 项 目 失败 的 问题 。5.1 有 和 5.5 节 已 经 介 绍 了 一 批 基于 风险 的 
测试 拉 术 ， 本 市 将 继续 讨论 一 些 常 用 的 测试 方法 。 


8.3.1 通过 测试 调查 风险 


在 软件 项 目 中 ， 风 险 是 可 能 存在 的 导致 项 目 受 挫 的 问题 。 该 描述 有 两 层 
含义 : 第 一 ， 风 险 并 不 是 灾难 ， 它 只 是 可 能 发 生 ， 而 非 不 可 避免 ， 第 
二 ， 风 险 可 能 转化 为 灾难 《〈 称 为 "风险 暴露 ") ， 给 项 目 带 来 损失 。 因 
0 a a 
Han A 


。 风险 暴露 的 概率 : 风险 由 潜在 问题 转化 为 具体 失败 的 概率 。 概 率 的 
高 低 与 产品 和 团队 的 特征 相关 。 例 如 ，C++ 程 序 出 现 内 存 泄漏 的 概 
率 较 高 ，C# 程 序 不 会 出 现 传统 意义 上 的 内 存 泄漏 “ 即 不 被 引用 的 动 
态 内 存 总 是 会 被 垃圾 回收 顷 回 收 ) 。 双 例如， 一 个 组 建 多 年 的 
C++ 团 队 积 累 了 一 批 好 的 开发 实践 、 程 序 库 、 调 试 工具 和 测试 工 
县 ， 他 们 所 开发 的 C++ 程序 出 现 内 存 泊 漏 的 概率 会 比较 低 。 如 采 团 
队 成 员 多 数 是 C++ 新 手 ， 缺 少 足 够 的 经 验 和 工具 ， 他 们 所 构建 的 程 
序 就 较 容 易 出 现 内 存 泄漏 的 问题 。 


风险 骏 露 的 损失 : 灾难 失败 所 导致 的 价值 损失 。 通 党 ， 破 坏 用 户 数 
据 的 失败 会 导致 重大 的 损失 。 试 想 一 下 ， 如 果 软 件 失败 导致 用 户 的 
数据 库 被 破坏 ， 用 户 基于 错误 的 数据 进行 了 大 量 的 销售 交易 ， 这 势 
必 造 成 严重 的 财务 损失 。 上 此外， 软件 月 计 等 错误 会 阻塞 用 户 的 工作 
流 ， 使 得 他 们 不 能 正常 完成 业务 ， 也 会 造成 大 量 的 《财务 ) 损失 。 
如 采 在 项 目 后 期 甚 全 在 产品 发 布 后 才 发 现 这 些 严 重 的 缺陷 ， 软 件 项 





























目 会 遭 到 沉重 的 打击 ， 软 件 企业 可 能 需要 向 用 户 文 付 巨额 赔偿 。 


根据 概率 和 损失 ， 测 试 人 员 可 以 评估 风险 的 优先 级 。 


一 种 定量 的 优先 级 评估 方法 是 : 风险 的 优先 级 = 风险 暴露 的 概率 x 
风险 暴露 的 损失 ， 其 中 风险 骏 露 的 概率 是 0 到 1 之 间 的 浮 点 数 ， 风 
险 暴 露 的 损失 用 赔偿 金额 来 评估 。 该 方法 的 优点 是 可 以 获得 数值 形 
式 的 优先 级 。 这 样 ， 测 试 人 员 能 够 对 所 有 风险 进行 线性 排序 ， 使 测 
试 重 点 一 目 了 然 。 其 不 足 是 测试 人 员 有 时 很 难 用 金额 去 准确 评估 风 
险 的 损失 ， 而 且 不 同 的 人 可 能 给 出 差异 很 大 的 估算 值 ， 令 优先 级 的 
评估 结果 存在 争议 。 


测试 人 员 也 可 以 定性 评估 风险 的 优先 级 。 其 中 ， 概 率 的 取 值 集合 是 
{ 很 低 、 低 、 中 、 高 、 很 高 } ， 损 失 的 取 值 集合 是 {很 小 、 小 、 
中 、 大 、 很 大 } 。 一 般 而 言 ， 高 概率 、 大 损失 的 风险 拥有 最 高 优 抑 
级 ， 值 得 重点 测试 。 该 方法 的 不 足 是 不 能 对 风险 项 进行 线性 排序 ， 
不 能 立即 判定 两 个 风险 项 的 优先 顺序 。 例 如 ， 一 个 风险 项 是 高 概 
K ARR -AARM ERAR KRR, ENR E 
没有 统一 的 评判 方法 。 这 时 ， 测 试 人 员 可 以 咨询 产品 经 理 、 领 域 专 
家 和 用 户 ， 请 他 们 帮忙 判断 。 














风险 测试 的 主要 任务 是 分 析 项 目 风 险 ， 然 后 设计 相应 的 测试 来 暴露 失 


败 。 


这 并 不 是 一 个 线性 的 过 程 ， 它 是 随 项 目 进展 而 途 代 展开 的 。 训 试 专 





家 Jams Bach 认 为 测试 本 身 就 是 风险 分 析 ， 即 测试 人 员 应 该 通过 风险 测 
试 去 迭代 地 评估 风险 的 概率 、 损 失 和 优先 级 。 他 用 图 8-9 解 释 了 风险 测 
试 的 循环 过 程 [Bach11]。 






探索 式 测试 


体会 该 领域 


的 问题 





图 8-9 ”基于 风险 的 测试 项 目 壕 代 


由 图 8-9 可 知 ， 在 测试 项 目 中 ， 存 在 风险 分 析 的 长 回路 和 短 回 路 。 长 回 
ere EE IS emp cee cele 
阶段 5 


1. 进入 新 项 目 。 


2. 分 析 可 能 的 风险 ， 拟 定 需 要 测试 的 风险 列表 。 这 时 ， 测 试 人 员 对 产品 
和 领域 还 缺乏 了 解 ， 很 难 提出 针对 性 很 强 的 风险 列表 。 为 了 提高 风险 列 
表 的 质量 ， 他 需要 运用 自身 的 知识 和 经 验 ， 还 要 阅读 相关 测试 文档 、 咨 
询 领域 专家 、 请 教 有 经 验 的 同事 等 。 


3. 短 回路 : 实施 具体 的 测试 ， 然 后 根据 测试 反馈 ， 设 计 新 的 测试 ， 发 气 
新 的 风险 。 


4. 回顾 整个 项 目 过 程 ， 分 析 所 发 现 的 问题 ， 列 出 项 目 领 域 的 常见 风险 。 
这 为 今后 的 项 目 提 供 了 第 一 手 的 风险 分 析 资 料 。 


在 短 回路 中 ， 测 试 人 员 实 施 具 体 的 测试 ， 并 根据 测试 所 及 现 的 新 信息 来 
评估 风险 。 短 回路 包含 如 下 活动 。 


1. 根据 当前 的 风险 列表 ， 实 施 相应 的 测试 。 测 试 人 员 可 以 利用 预先 编制 
的 测试 脚本 ， 也 可 以 实施 探索 式 测 试 一 一 根据 测 斌 结果， 立即 设计 新 的 
测试 。 通 常 ， 测 试 人 员 很 难 预 测 产 品 存 在 哪些 风险 、 风 险 隐藏 于 哪些 模 
块 、 风 险 会 以 何 种 形式 暴露 等 问题 ， 基 于 动态 有 反馈 的 探索 式 测 试 更 适合 























风险 探测 的 任务 。 


a a 
能 性 。 


3. 测试 人 员 根 据 评 估 结 果 ， 调 整风 险 列表 。 他 会 补充 新 浮现 的 风险 ， 并 
根据 测试 情况 修改 已 有 风险 的 概率 和 损失 。 


4. 根据 新 的 风险 列表 ， 测 试 人 员 设 计 并 执行 新 的 测试 。 


总 体 而 言 ，James Bach 的 流程 建议 测试 人 员 充 分 利用 测试 的 从 代 性 ， 在 
项 目 全 过 程 建立 风险 分 析 的 反馈 回路 。 这 有 助 于 尽快 识别 新 出 现 的 问 
题 ， 并 让 测试 逐渐 和 逼 近 那 些 隐藏 的 问题 。 


8.3.2 ”失败 模式 


根据 上 一 小 节 的 讨论 ， 风 险 列 表 是 测试 设计 的 重要 参考 ， 它 记载 了 产品 
可 能 存在 的 问题 。 其 核心 是 描述 产品 失败 方式 的 失败 模式 ， 它 刻画 了 失 
败 的 情景 和 特征 [Kaner11]. 


快速 测试 是 一 种 典型 的 基于 风险 的 测试 技术 (参见 5.5 节 )〉 。 它 由 一 组 
测试 想法 构成 ， 每 个 测试 想法 都 针对 某 个 风险 (失败 模式 ) 。 表 5-4、 

表 5-5 和 表 5-6 就 列举 了 大 量 的 测试 想法 和 它们 所 针对 的 风险 。 这 些 表 来 
源 于 测试 专家 多 年 的 积累 。 他 们 在 测试 工作 中 收集 了 许多 具体 的 缺陷 ， 
经 过 分 析 提 炼 ， 获 得 了 一 组 有 代表 性 的 失败 模式 。 针 对 这 组 模式 ， 他 们 
提出 了 一 组 测试 想法 ， 并 让 它们 经 受 测 试 实践 的 打磨 。 其 成 果 是 一 组 易 
学 易 用 的 失败 模式 和 测试 想法 。 

测试 专家 Cem Kaner 认 为 失败 模式 是 一 种 通用 的 风险 测试 技术 ， 可 以 有 
效 地 产生 大 量 的 测试 想法 。 为 此 ， 他 提供 了 一 组 问题 ， 帮 助 测试 人 员 发 
掘 失败 模式 [Kaner11]. 


。 针对 产品 的 每 个 模块 或 功能 ， 测 试 人 员 思 考 其 失败 模式 和 测试 方 
Ae 

















。 该 功能 可 能 会 触发 哪些 失败 ， 即 包含 哪些 失败 模式 ? 
。 对 于 特定 的 失败 ， 它 具有 哪些 外 部 特征 ? 


o 如 何 检测 该 失败 ? 
o 检测 该 失败 需要 多 少 测 试 资源 ? 
。 在 获得 失败 模式 后 ， 测 试 人 员 可 以 评估 其 影响 ， 即 执行 影响 分 析 。 
该 失败 可 能 有 哪些 影响 ? 
o 其 影响 包含 哪些 变化 因素 ? 
该 失败 的 最 严重 损失 是 什么 ? 平均 损失 是 什么 ? 
多 复 导 致 该 失败 的 缺陷 需要 多 少 资源 ? 
综合 考虑 失败 损失 和 检测 失败 的 成 本 ， 该 失败 模式 值得 被 测试 


nia ? 
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利用 以 上 问题 ， 测 试 人 员 可 以 获得 初始 的 失败 模式 列表 。 除 此 之 外 ， 他 
还 可 以 参考 其 他 测试 文档 ， 以 补充 更 多 的 失败 模式 和 测试 想法 。 常 见 的 
参考 资料 包括 测试 指南 〈3.2.7 节 ) 、 测 试想 法 列表 (3.2.8 节 ) 、 检 查 列 
K 〈3.2.11 节 ) . RIBAS 〈3.2.12 节 ) 等 。 综 合 考 虑 他 人 的 研究 成 果 可 
以 更 快 地 产生 测试 想法 ， 并 弥补 自身 知识 和 经 验 的 不 足 。 


随后 ， 测 试 人 员 将 失败 模式 列表 作为 风险 列表 ， 用 来 指导 风险 测试 。 他 
将 一 个 失败 模式 看 作 一 个 风险 ， OD A LA aaa 在 
此 过 程 中 ， 他 不 但 会 发 现 新 的 软件 缺陷 ， 还 会 学 习 到 新 的 业务 知识 、 产 
品 知识 和 技术 知识 。 结 合 这 些 新 发 现 ， ius 说 评估 现 有 关 败 楼 站 的 
有 效 性 ， 并 补充 新 的 失败 模式 ， 以 产生 新 的 测试 想法 。 该 迭代 过 程 束 是 
图 8-10 中 的 短 回路 。 


经 过 短 回 路 的 反复 锤炼 ， 在 项 目 结束 时 ， 测 试 人 员 可 以 获得 一 份 针 对 当 
前 领域 和 产品 的 失败 模式 列表 。 这 为 下 一 sala rata eet gaan 
基础 。 这 份 列表 不 但 是 测试 计划 的 重要 参考 ， 还 是 很 好 的 培训 资料 
[Kaner11]。 通过 阅读 它 ， 测 试 小 组 的 新 成 员 能 够 了 解 产 品 特征 ， 实 施 快 
ce 通过 测试 ， 他 们 可 以 更 好 地 学 习 产 品 ， 并 初步 体会 当前 领域 的 
主要 风险 。 


8.3.3 ”项 目 级 别 的 风险 














除了 软件 缺陷 ， 测 试 人 员 还 需要 考虑 项 目 级 别 的 风险 。 此 类 风险 如 果 转 
化 为 灾难 ， 有 可 能 导致 项 目 失 败 。 表 8-1 是 Cem Kaner 总 结 的 项 目 级 别 的 
风险 [Kaner11]。 


K 8-1 Cem Kaner. 



































在 学 习 新 事物 、 新 技术 时 ， 团 队 成 员 更 容易 犯错 


H gt 


© ZH 




















代码 变更 可 能 使 已 有 代码 不 能 正常 工作 

















如 果 团 队 不 使 用 


的 项 目 级 别 的 风险 









































源 代码 管理 系统 ， 代 码 文件 会 被 自 改 或 意外 删除 





有 时， 团队 必须 在 发 布 前 紧急 改动 代码 。 紧 张 的 进度 和 匆忙 的 工作 很 容易 


导致 错误 














有 了 时， 团队 承担 了 太 多 的 工作 ， 以 致 于 很 难 六 











疲 急 的 团队 会 犯 更 多 的 错误 





其 他 人 


[= 
员 问 题 





y. 


分 散在 不 同 地 点 的 团队 会 面临 交流 困难 





而 不 一 致 的 理解 会 导致 不 能 协同 工作 的 




















代 








缺乏 交流 会 导致 不 一 致 的 理解 ， 
三 





团队 由 形形色色 的 人 构成 ， 他 们 可 能 遭遇 各 种 问题 ， 如 柄 酒 、 离 异 、 亲 人 
去 世 、 两 个 程序 员 彼 此 不 说 话 等 。 这 些 都 会 对 代码 产生 负面 影 啊 


























他 功能 产生 了 不 民 影 响 














的 缺陷 


一 些 计 划 外 的 、 突 然 出 现 的 任务 有 可 能 被 仓促 完成 ， 包 含 许多 错误 














中 的 模糊 描述 会 导致 不 正确 或 不 一 致 


彼此 冲突 的 需求 有 可 能 损害 一 部 分 关系 人 的 利益 




















当 一 些 重要 的 议题 没有 被 讨论 或 记录 ， 它 们 可 能 没有 得 到 充分 地 考虑 ， 或 
者 它们 的 设计 者 试图 隐藏 其 中 的 问题 


























团队 可 能 漏 掉 了 一 些 正 当 的 需求 ， 以 致 于 损害 了 产品 的 质量 











在 整个 项 目 周期 ， 需 求 都 在 大 幅度 变化 ， 这 很 容易 导致 项 目 失败 




















产品 的 每 个 部 分 都 存在 许多 缺陷 








如 果 一 个 功能 最 近 其 露出 许多 缺陷 ， 那 么 它 可 能 还 隐藏 了 不 少 其 他 问题 


一 个 模块 依赖 于 它 的 上 游 模块 。 上 游 模 块 的 改动 或 延期 会 导致 该 模块 出 现 


问题 











RARE EN PIRR. 该 模块 的 改动 或 延期 会 造成 下 游 模块 出 现 
问题 

















发 散 | 在 时 间或 空间 上 发 散文 必 须 协同 工作 的 一 组 事物 ， 它 们 的 复杂 性 会 引入 缺 


陷 








任何 没有 明确 主题 的 函数 或 数据 都 容易 被 误 用 

















以 理解 的 事物 很 难 被 正确 地 构建 














编程 语言 会 引入 一 些 风 险 ， 例 如 C 语 言 的 悬挂 指针 、 内 存 泄漏 等 























单元 测试 的 项 目 不 具备 基本 的 “开发 安全 网 ” 
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AAMT | SW kT AA He ANWR RUA BERNE, WAART E 
目 会 被 漏 测 


aN 




















一 些 缺 陷 报告 被 解决 为 “不 予 修 复 ”， 因 为 没有 人 知道 该 如 何 修 复 它们 








如 果 测 试 人 员 只 能 缓慢 、 困 难 、 低 效 地 测试 某 个 功能 ， 那 么 该 功能 很 可 能 
没 得 到 充分 地 测试 




















如 果 某 个 特性 的 失败 会 导致 大 量 的 恶 评 和 负面 报道 ， 它 就 值得 重点 考虑 














如 果 茶 个 特性 的 失败 会 导致 诉讼 ， 它 束 值 得 重 














高 危 | 如 果 茶 个 特性 的 失败 会 导致 重大 伤害 ， 它 就 值得 重点 考虑 



































行为 或 结果 与 需求 严 丝 合 缝 ， 它 就 值得 如 


























2 AIK 
aoe WR MEE m BEA EF BAP RI, ELAS AS IE 




















受 欢 迎 | 如 果 某 个 特性 特别 受 欢 迎 、 被 广大 用 户 使 用 ， 它 就 值得 重点 考虑 

















的 
战略 的 | 如 果 茶 个 特性 对 业务 特别 重要 ， 它 融 值 得 重点 考虑 


重要 人 
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显著 性 | WR MEP PE A A ao BU Ka RES APS, EEL 






































隐蔽 性 | 如 果 某 个 失败 会 被 产品 暂时 隐藏 ， 却 最 终 导 致 灾难 ， 它 就 值得 重 











测试 人 员 可 以 将 表 8-1 当 作 通 用 的 风险 列表 。 在 项 目 之 初 ， 他 根据 该 列 
表 研 究 项 目 和 团队 ， 分 析出 值得 持续 监控 的 风险 ， 并 将 相应 的 测试 想法 
写 入 测试 计划 。 在 项 目 过程 中 ， 他 需要 持续 监控 产品 的 风险 ， 并 适时 地 
调整 风险 列表 和 测试 抹 略 。 


对 于 许多 项 目 级 别 的 风险 ， 单 个 测试 人 员 并 没有 资源 加 以 完整 地 监控 。 
但 是 ， 测 试 人 员 有 责任 在 自己 负 贡 的 领域 实施 风险 测试 ， 以 积极 探测 项 
目 级 别 的 风险 。 一 旦 发 现 系 个 风险 有 可 能 转化 为 灾难 ， 他 应 该 立即 向 测 
试 经 理 汇报 。 当 项 目 管理 者 及 时 地 获得 警报 时 ， 他 们 就 可 以 采取 必要 的 
行动 去 避免 灾难 。 











8.4 小结 
本 部 讨论 了 如 何 从 测试 的 角度 来 研究 项 目 和 团队 ， 介 绍 了 一 些 实践 广 
法 。 





测试 人 员 应 该 主动 了 解 项 目 团 队 的 使 命 、 目 标 和 运作 方式 。 
人 





使 用 语 境 独 立 的 局 发 式 问题 可 以 多 角度 地 研究 项 目 语 境 。 

人 ， 在 一 起 工作 的 人 ， 是 项 目 语 境 中 最 重要 的 部 分 。 

为 了 更 好 地 与 同事 协作 ， 测 试 人 员 需 要 了 解 他 们 的 思考 风格 。 
积极 主动 的 讨论 是 民 好 协作 的 基础 。 


从 软件 缺陷 、 源 代码 、 构 建 、 目 动 化 测试 等 项 目 元 素 中 ， 能 够 获得 
许多 有 益 的 测试 信息 。 


利用 人 简单 的 度量 就 可 以 获得 许多 有 价值 的 情报 。 
基于 风险 的 测试 针对 项 目 风险 设计 并 运行 测试 ， 以 发 掘 可 能 存在 的 


问题 。 

测试 本 身 融 是 风险 分 析 ， 筷 是 一 个 迭代 过 程 。 

在 测试 实践 中 积累 失败 模式 可 以 帮助 测试 小 组 更 好 地 测试 。 
测试 人 员 有 员 任 监控 和 报告 项 目 级 别 的 风险 。 




















第 9 半 团队 工作 


大 多 数 测试 人 员 都 工作 在 一 个 团队 中 ， 其 工作 的 主要 内 容 是 持续 地 加 项 
目 团队 和 项 目 关 系 人 提供 测试 服务 。 有 时 他 会 长 时 间 地 独立 测试 ， 但 最 
终 他 还 是 需要 与 团队 成 员 协 作 ， 使 技术 调查 的 结果 推动 产品 的 发 展 。 在 
很 大 程度 上 ， 测 试 人 员 的 工作 价值 取决 于 他 对 项 目 团队 的 贡献 。 


本 章 探 讨 测试 人 员 如 何 有 效 地 在 团队 中 工作 ， 以 及 如 何 恰当 地 实施 测试 
管理 。 本 书 的 目标 读者 是 第 一 线 的 测试 人 员 ， 所 以 本 章 并 不 讨论 测试 经 
理 如 何 管理 测试 小 组 ， 而 是 分 析 测 试 人 员 如 何 面 对 项 目 管理 的 一 些 挑 

战 。 








9.1 工作 风格 


不 同 的 项 目 团队 拥有 不 同 的 工作 风格 ， 这 要 求 测 试 人 员 根 据 团队 情况 来 
调整 自己 的 工作 方式 。 不 过 ， 在 职业 生涯 中 ,测试 人 员 应 该 秉持 一 些 基 
es see ek ator 














9.1.1 测试 人 员 通 过 服务 团队 来 体现 目 己 的 价值 


在 项 目 层 面 ， 测 试 人 员 应 该 持续 地 提供 高 质 量 的 测试 服务 ， 帮 助 项 目 团 
队 成 功 地 交付 产品 ， 在 企业 层面 ， 测 试 人 员 应 该 帮助 公司 去 达成 业务 目 
标 。 这 是 对 “专业 人 员 ” 的 基本 要 求 ， 但 并 不 容易 做 到 。 


首先 ， 测 试 人 员 应 该 设 定 正确 的 工作 目标 。 管 理学 大 师 Peter Drucker 指 
出 ， 执 行经 理 是 掌管 自己 时 间 的 价值 并 影响 机 构 执 行 能 力 的 人 ， 而 大 多 
数 知识 工人 都 是 执行 经 理 [Drucker93]。 在 实际 测试 中 ， 测 试 人 员 可 以 决 
定 技术 调查 的 范围 、 深 上 度 和 手段 。 即 便 项 目 团 队 给 出 了 详细 的 测试 脚 

本 ， 测 试 人 员 在 测试 运行 、 问 题 调 查 ( 强 含 设计 新 的 测试 用 例 ) 、 缺 陷 
提交 、 状 态 报告 等 具体 任务 中 ， 仍 具有 很 大 的 目 主 性 。 因 此 ， 专 业 的 测 
人 去 积极 地 设 定 工作 目标 ， 有 效 地 利 

时 间 。 


为 了 设 定 正 确 的 目标 ， 他 需要 思考 一 系列 问题 。 

。 公司 的 业务 战略 是 什么 ? 

。 当前 项 目的 使 命 是 什么 ? 它 如 何 支 持 公司 的 战略 ? 

。 项 目 团队 的 具体 目标 是 什么 ? 它们 如 何 实现 项 目 团 队 的 使 命 ? 

。 我 有 哪些 具体 目标 ?如 何 让 自己 的 目标 支持 团队 的 使 命 ? 

。 做 哪些 具体 的 工作 才能 实现 自己 的 目标 ? 

回答 这 些 问 题 并 不 容易 ， 但 只 有 经 过 慎重 的 思考 ， 才 能 让 个 人 目标 符合 


团队 利益 。 许 多 时 候 ， 如 宋 测试 人 员 不 掌握 足够 的 信息 ， 就 难以 制订 合 
理 的 工作 计划 。 这 时 ， 他 可 以 请 教 测 试 经 理 和 项 目 负 责 人 ， 请 他 们 解释 





























团队 目标 和 优先 级 。 好 的 领导 会 为 团队 指明 方 同 ， 并 帮助 测试 人 员 安 排 
其 体 工作 项 的 优先 级 。 


在 确定 具体 的 工作 项 时 ， 测 试 人 员 应 该 放宽 视野 ， 不 必 计 较 工作 划分 的 
边界 。 因 为 软件 测试 是 通过 技术 调查 来 提供 产品 的 质量 信息 ， 所 以 测试 
人 员 的 工作 核心 是 为 项 目 团 队 和 关系 人 提供 信息 服务 (参见 1.2 市 〉。 

因此 ， 当 团队 或 关系 人 需要 质量 信息 时 ， 只 要 有 足够 的 空闲 时 间 ， 测 试 
人 员 就 应 该 主动 提供 服务 。 此 外 ， 测 试 人 员 应 该 意识 到 他 是 测试 小 组 的 
一 份子 ， 当 测试 伙伴 需要 帮助 时 ， 他 也 应 该 积极 啊 应 。 多 承担 一 些 工 作 
会 让 测试 人 员 更 忙碌 ， 但 这 也 是 积累 经 验 、 提 升 撤 能、 提升 影响 力 的 好 
a 


在 设 定 目标 之 后 ， 测 试 人 员 需 要 认真 地 完成 目 己 的 工作 。 坦 率 地 说 ， 许 
多 必 不 可 少 的 测试 工作 是 比较 枯燥 的 。 例 如 ， 项 目 团队 需要 发 布 一 个 芭 
和 急 的 产品 补丁 。 在 修复 代码 签 入 之 前 ， 测 试 人 员 测 试 该 代码 变更 ， 检 查 
它 确 实 修复 了 问题 且 没 有 引入 新 的 缺陷 。 在 代码 签 入 之 后 ， 构 建 服务 圳 
产生 了 肥 布 给 用 户 的 补丁 。 为 了 发 现 签 入 和 构建 过 程 的 错误 ， 测 试 人 员 
需要 测试 发 布 版 本 的 补丁 ， 主 要 工作 包括 : 安装 产品 、 测 试 补 丁 的 安 
装 、 再 次 检查 补丁 确实 修复 了 问题 、 测 试 补丁 的 反 安 装 。 在 大 多 数 情 况 
下 ， 对 发 布 版 本 的 测试 不 会 发 现 新 问题 ， 而 且 这 部 分 工作 也 没有 技术 挑 
战 ， 因 为 签 入 前 的 测试 已 经 解决 了 所 有 技术 问题 。 但 是 ， 该 工作 是 必须 
的 ， 因 为 项 目 团 队 必 须 防 备 一 些 难以 预料 的 小 概率 事件 ， 例 如 程序 员 在 
签 入 时 意外 地 修改 了 一 行 代码 、 另 一 个 程序 员 同 时 签 入 的 代码 意外 地 顽 
蔓 了 本 次 修复 、 男 一 个 团队 同时 签 入 的 代码 与 本 次 修复 不 兼容 等 。 所 
以 ， 专 业 的 测试 人 员 会 理解 任务 的 意义 ， 用 负责 而 不 是 敷衍 的 态度 去 处 
理 一 些 “ 无 趣 ” 的 任务 ， 并 让 工作 质量 达到 团队 认可 的 标准 。 


另 一 种 积极 面 对 “ 无 聊 ” 工 作 的 方法 是 用 创新 思维 来 重新 思考 任务 。 例 

如 ， 在 测试 补丁 的 活动 中 ， 机 械 且 见长 的 手工 操作 包括 : 安装 产品 、 安 
装 已 经 发 布 的 补丁 、 安 闭 被 测 补 本 等。 为 了 提高 效率 ， 测 试 人 员 可 以 纺 
写 一 个 脚本 ， 去 目 动 完成 这 些 安 装 操作 。 这 将 一 个 枯燥 的 手工 任务 转变 
为 一 个 自动 化 挑战 。 也 许 编写 自动 化 脚本 的 时 间 会 比 手工 安装 的 时 间 多 
5 倍 。 但 是 ， 通 过 编写 脚本 ， 测 试 人 员 提 升 了 编程 能 力 ， 学 习 了 安装 产 
品 和 补丁 的 知识 ， 这 对 于 他 未 来 的 工作 大 有 神 益 。 此 外 ， 该 脚本 可 以 分 
译 给 测试 小 组 ， 以 提升 团队 的 整体 效率 。 可 见 ， 用 进取 心 看 待 平 凡 的 工 
作 ， 就 能 够 发 现 它 不 平凡 的 一 面 。 


























9.1.2 测试 人 员 应 该 正直 


对 测试 人 员 而 言 ， 正 直 是 客观 公正 地 处 理工 作 并 始终 诚实 地 报告 质量 问 
该 价值 观 会 受到 各 种 挑战 ， 测 试 人 员 需 要 妥善 
MXT o 


对 于 一 些 程序 员 而 言 ， 缺 陷 报告 传递 的 是 一 种 “负面 ”信息 。 当 程序 员 接 
到 缺陷 报告 后 ， 他 不 得 不 放下 更 有 趣 的 新 功能 开 及 ， 转 而 去 调查 东 个 疑 
难 杂 症 。 这 打 断 了 他 的 工作 流 ， 引 入 了 任务 切换 的 开销 ， 市 来 了 额外 的 
工作 。 一 旦 决定 修复 该 缺陷 ， 他 还 需要 编写 、 测 试 、 签 入 代码 ， 这 会 耗 
费 他 更 多 的 时 间 。 此 外 ， 有 此 程序 员 认为 缺陷 报 和 是 对 其 工作 的 批评 与 
质疑 ， 这 在 无 形 中 令 他 对 缺陷 报告 怀 有 戒备 之 心 。 因 此 ， 专 业 的 测试 人 
员 应 客观 地 传递 信息 ， 应 该 报告 的 是 产品 需要 解决 的 问题 ， 而 不 是 对 任 
何人 的 批评 。 用 贡 备 或 轻视 的 语气 报告 缺陷 对 于 解决 缺陷 并 没有 帮助 ， 
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对 村 一 些 项 目 负 责 人 而 言 ， 缺 陷 报 告 也 不 是 “好 消息 ”它们 常常 代表 了 
严重 的 产品 问题 ， 增 大 了 项 目 延 期 的 可 能 性 。 因 此 ， 在 项 目 结束 前 夕 ， 
P a a a 

题 ? "或 “这 为 什么 是 一 个 问题 ? ”。 如 果 其 语气 暗示 出 质疑 或 责备 ， 那 
么 传递 < 消息 "的 测试 人 员 将 承担 很 大 的 压力 。 面 对 此 类 情况 ， 测 试 人 
员 应 该 坚持 如 实 报告 问题 ， 因 为 作为 信 ， 因 服 务 者 ， 诚 实 可 信和 是 测试 人 员 
的 最 基本 要 求 。 隐瞒 或 扭曲 信息 会 伤害 测试 人 员 的 信誉 ， 也 会 伤害 项 
目 。 在 这 里 ， 我 分 享 一 个 自己 的 教训 上 。 


工 关于 该 缺陷 的 来 龙 去 脉 请 参考 我 的 博客 文 

章 : http://www.cnblogs.com/liangshi/archive/2010/09/05/1818554.html 
> http://www.cnblogs.com/liangshi/archive/2010/09/07/1820540.html 

> http://www.cnblogs.com/liangshi/archive/2010/09/09/1822015.html 。 


























在 一 个 web 服 务 发 布 前 夕 ， 我 及 现 了 一 个 严重 的 毅 误 缺陷 。 在 接 到 
通知 后 ， 程 序 员 提 供 了 一 份 包含 修复 的 私有 构建 。 经 过 近 一 周 的 压 
力 测试 ， 我 相信 当前 的 私有 构建 不 存在 崩 尝 问题 。 我 将 这 一 信息 口 
头 报告 给 程序 员 ， 通 知 他 可 以 和 俭 入 修正 代码 。 


在 发 现 骨 尝 、 诊 断 故 障 、 测 试 私有 构建 、 报 告 测 试 结果 的 过 程 中 ， 
我 并 没有 在 缺陷 管理 系统 中 记录 相应 的 缺陷 。 事 后 证 明 我 没有 用 缺 


陷 来 退 踪 月 温 问 题 是 严重 失职 ， 但 那 时 我 也 有 “充分 ”的 理由 。 


首先 ， 当 时 处 于 发 布 前 夕 ， 缺 陷 修复 规则 是 任何 新 发 现 的 缺陷 都 要 
在 24 小 时 之 内 修正 ， 或 放 到 下 一 次 发 布 再 修正 。 这 次 的 毅 温 非常 复 
杂 ， 我 分 析 内 存 转 储 文件 时 没有 把 握 可 以 在 24 小 时 内 找到 解决 方 
法 。 即 便 拿 到 了 私有 构建 ， 我 也 需要 几 天 的 时 间 来 做 压力 测试 ， 才 
能 检验 修复 的 有 效 性 。 我 不 记录 缺陷 ， 是 为 了 争取 更 多 的 时 间 。 


其 次 ， 管 理 层 对 24 小 时 的 时 间 窗 口 非常 重视 ， 总 是 在 催促 程序 员 修 
正 错误 ， 或 将 不 严重 的 错误 推迟 到 未 来 的 发 布 。 这 在 心理 上 给 程序 
员 巨 大 的 压力 。 大 家 在 淤 意识 中 认为 ， 如 采 不 能 在 24 小 时 内 “ 摘 
定 ? 人 缺陷 ， 目 己 的 工作 绩效 会 受到 影响 。 程 序 衣 涡 是 严重 的 问题 ， 
但 是 其 根源 是 一 个 很 难 重 现 的 NET CLR (Common Language 
Runtime) 缺陷 。 提 交 这 样 一 个 可 能 不 那么 “要 紧 ” 的 缺陷 ， 如 采 程 
序 员 不 能 在 24 小 时 修正 ， 会 不 会 对 他 的 个 人 绩效 产生 负面 影响 ? 他 
会 不 会 受到 管理 层 的 质疑 ? 


当时 ， 我 以 为 程序 员 在 得 到 修复 有 效 的 测试 结果 后 ， 会 在 人 条 次 签 入 
中 “顺便 ?包含 该 代码 变更 。 但 是 ， 在 发 布 的 最 后 阶段 ， 只 有 修正 缺 
陷 的 代码 变更 才能 签 入 。 那 位 程序 员 手 上 恰恰 没有 缺陷 〈 这 和 是 我 始 
料 未 及 的 ) ， 他 也 觉得 CLR 的 缺陷 在 产品 环境 中 玖 怕 不 会 复 现 ， 于 
是 没 有 签 入 修正 。 


大 约 一 个 月 以 后 ， 该 服务 在 产品 环境 中 骨 沉 。 从 症状 上 看 ， 残 是 我 
所 发 现 的 缺陷 。 我 到 那 时 才 知 道 ， 产 品 代码 中 不 包含 程序 员 的 修 
正 。 现 在 看 来 ， 不 正式 记录 该 缺陷 有 以 下 问题 。 


第 一 ， 管 理 层 不 知道 该 缺陷 的 情况 。 他 们 将 根据 不 准确 的 信息 作出 
发 布 决策 。 

第 二 ， 在 发 布 前 ， 所 有 的 流程 都 围 经 缺陷 展开 。 不 记录 缺陷 ， 就 不 
能 “合法 ”地 签 入 代码 ， 束 不 能 修复 衣 溃 。 

第 三 ， 不 记录 人 缺陷， 就 没有 一 个 文档 正式 记录 问题 证 状 、 调 试 结 
末 、 修 复 进 度 、 测 试 进度 。 缺 陷 记录 可 以 协调 程序 员 、 测 试 人 员 、 
项 目 管 理 者 来 共同 解决 严重 的 问题 。 


第 四 ， 缺 陷 是 团队 学 习 的 最 佳 素材 之 一 。 不 把 如 此 有 教 普 的 缺陷 记 












































录 下 来 ， 是 团队 积累 的 一 个 损失 。 


幸运 的 是 ， 服 务 重启 后 能 够 继续 工作 ， 对 业务 影响 不 大 。 经 过 讨 
论 ， 我 们 决定 在 两 周 后 发 布 补 丁 ， 以 修正 该 崩溃 和 其 他 一 些 问题 。 


再 次 反思 该 缺陷 处 理 过 程 ， 不 难 获得 如 下 结论 。 


第 一 ， 流 程 的 出 发 点 可 能 和 结果 背道而驰 。 要 求 在 24 小 时 内 修复 新 
问题 ， 是 为 了 让 代码 中 的 缺陷 持续 减少 。 但 是 ， 许 多 缺陷 难以 在 24 
小 时 内 被 修复 。 在 压力 下 ， 项 目 团队 可 能 选择 不 在 当前 发 布 修复 该 
缺陷 。 这 使 得 代码 中 的 缺陷 被 < 隐藏 ”> 了 ， 而 不 是 被 修复 了 。 


第 二 ， 管 理 层 应 该 营造 一 种 辟 励 报告 缺陷 的 氛围 ， 这 使 得 发 布 决策 
能 够 基于 真实 的 情况 。 


第 三 ， 当 缺陷 处 理 〈 报 告 、 修 复 、 检 验 ) 与 个 人 绩效 联系 在 一 起 
时 ， 缺 陷 报 告 与 缺陷 修复 的 积极 性 可 能 会 被 压抑 。 


第 四 ， 即 便 流程 不 会 评估 个 人 绩效 ， 只 要 开发 者 心理 上 感觉 它们 之 
间 有 联系 ， 他 们 的 行为 也 会 受到 影响 。 


第 五 ， 作 为 专业 的 测试 人 员 ， 发 现 问 题 一 定 要 报告 。 报 告 可 以 讲 策 
略 和 时 机 ， 但 古 不 能 将 问题 “ 否 没 "?。 对 于 这 次 的 骨 沉 问题 ， 我 应 该 
第 一 天 就 提交 到 缺陷 管理 系统 。 由 于 它 复 现 的 概率 不 高 ， 我 们 可 以 
将 它 推迟 到 下 一 个 发 布 周期 。 与 此 同时 ， 我 们 可 以 尽 可 能 寻找 解决 
方案 。 一 旦 找到 修复 方法 ， 就 将 该 缺陷 移 回 到 当前 发 布 周期 ， 然 后 
签 入 代码 将 其 修正 。 


Tom DeMarco 和 Tim Lister 在 经 典 著作 《人 件 》 中 指出 软件 项 目的 主要 问 
题 是 社会 学 问题 [DeMarco99]。 因 为 测试 人 员 的 主要 工作 是 传递 对 项 目 
和 团队 有 影响 的 信息 ， 他 会 面临 更 多 的 人 际 关系 方面 的 挑战 。 对 此 ， 他 
应 该 秉持 正直 的 价值 观 ， 以 诚实 的 态度 提供 信息 服务 。 这 比 随 波 逐 流 、 
人 人云亦云 要 困难 许多 ， 但 却 是 发 展 职业 生涯 的 正路 。 


9.1.3 ”测试 人 员 的 影响 力 来 自 于 出 色 的 工作 


如 2.1 市 所 论述 ， 测 试 人 员 报 告 缺陷 十 为 了 让 缺陷 得 到 修复 ， 这 往往 要 
求 他 谨 服 程序 员 和 缺陷 评审 小 组 去 采取 修复 行动 。 一 个 总 是 让 缺陷 得 到 



































修复 的 测试 人 员 ， 无 论 他 的 头衔 是 什么 ， 忆 古 拥 有 实质 性 的 影响 力 。 这 
种 影响 力 的 根源 来 自 于 测试 人 员 的 优秀 工作 ， 以 及 在 工作 中 表现 出 的 技 


术 能 力 。 


对 于 测试 人 员 而 言 ， 出 色 的 工作 通常 体现 为 : 他 的 测试 策略 是 产品 相 
天、 聚焦 风险 、 多 种 多 样 、 注 重 实效 的 《参见 5.7 节 ) ;他 让 训 试 学 
习 、 测 斌 设计、 测试 执行 和 测试 评估 成 为 相互 支持 的 活动 ， 明 过 快速 地 
测试 碗 代 ， 持 续 友 现 产 品 缺 陷 ， 他 对 于 发 现 的 缺陷 进行 必要 的 技术 调 
查 ， 为 缺陷 的 评估 、 复 现 、 修 复 等 活动 提供 高 质量 的 信息 ; 他 撰写 了 客 
观 、 严 谍 的 缺陷 报告 ， 让 程序 员 和 缺陷 评审 小 组 能 够 快速 地 理解 缺陷 的 
RAS HK; 他 积极 主动 ， 乐 于 助人 ， 用 高 效 的 技术 调查 来 回答 团队 成 员 
的 疑问 。 一 个 工作 出 色 的 测试 人 员 会 逐渐 在 团队 中 建立 自己 的 信誉 ， 那 
些 见 证 其 工作 、 接 受 其 服务 的 团队 成 员 自 然 会 认可 他 的 表现 ， 并 相信 他 
可 以 提出 有 价值 的 观 后 。 


除了 测试 技术 ， 测 试 人 员 还 需要 扩展 自己 的 知识 面 。 在 与 产品 经 理 讨论 
产品 时 ， 他 需要 掌握 足够 的 领域 知识 和 产品 知识 。 在 与 程序 员 讨论 设计 
时 ， 他 需要 掌握 足够 的 开发 知识 。 一 个 测试 人 员 第 面临 的 困境 是 ， 当 他 
提出 一 些 技术 建议 ， 程 序 员 可 能 流露 出 不 屑 的 态度 : “你 作为 一 个 《不 
了 解 软 件 设 计 的 ) 测试 人 员 ， 有 什么 资格 要 求 程 序 员 采 纳 你 的 意 

Wh? ”从 长 远 看 ， 殉 服 该 困境 的 唯一 途径 是 测试 人 员 有 具备 接近 程序 员 的 
软件 开发 能 力 。 这 要 求 测试 人 员 学 习 产 品 平台 、 程 序 语言 、 设 计 模 式 和 
调试 技术 ， 并 通过 测试 实践 逐步 理解 产品 架构 和 代码 。 有 具备 产品 知识 和 
开发 技术 的 测试 人 员 能 够 提出 有 洞察 力 的 意见 ， 虽 然 并 不 是 所 有 的 意见 
> 
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9.1.4 ”信任 程序 员 的 努力 ， 并 用 技术 调查 检验 其 工作 


如 果 测 试 人 员 硕 望 团 队 成 员 可 以 信任 上 自己， 他 就 需要 先 信任 别人 。 一 个 
内 心 “ 疑 邻 盗 戎 "的 人 会 流露 出 对 他 人 的 不 信任 ， 这 反 过 来 也 会 导致 他 不 
被 信任 ， 因 为 团队 成 员 不 认为 他 是 客观 公正 的 。 在 绝 大 多 数 团 队 中 ， 测 
试 人 员 应 该 秉持 的 基本 理念 是 : 所 有 团队 成 员 都 希望 项 目 获得 成 功 ， 都 
在 尽 自 己 的 努力 来 提高 产品 的 质量 。 那 么 ， 测 试 人 员 应 该 无 条 件 地 相信 
程序 员 对 代码 改动 的 描述 吗 ? 答案 是 ， 测 试 人 员 需 要 用 技术 调查 来 检验 
其 描述 的 正确 性 。 
























































本 书 开 篇 就 指出 软件 的 复杂 度 已 经 超越 人 的 理解 能 力 。 面 对 复杂 且 变 化 
的 代码 ， 任 何人 都 不 能 保证 他 的 代码 变更 总 是 正确 无 误 。 信 任 一 个 人 ， 
并 不 意味 痢 相 信 他 不 会 犯错 。 任 何人 都 有 盲点 ， 都 有 思考 不 周 的 情况 ， 
即便 努力 工作 也 会 在 代码 中 引入 一 些 错误 。 测 试 的 任务 就 是 用 全 新 的 眼 
光 考 岁 产 品 ， 发 现 其 中 的 问题 。 当 程序 员 说 “这 段 代码 改动 影响 很 小 ， 
没有 问题 “时 ， 他 的 言 下 之 意 其 实 是 “在 我 所 知道 的 情景 中 ， 这 段 代 码 改 
动 没 有 问题 *。 在 测试 时 ， 测 试 人 员 应 该 参考 程序 员 的 见解 ， 安 排 一 些 
测试 去 检查 程序 员 已 知 的 情景 ， 更 要 通过 各 种 途径 去 挖掘 程序 员 遗 漏 的 
情景 。 那 些 “ 意 料 之 外 ”的 情景 很 可 能 会 暴露 软件 缺陷 。 

















9.2 测试 管理 


在 测试 管理 上 ， 测 试 经 理 从 项 目 整 体 出 友 ， 会 组 织 与 安排 各 种 测试 活 
动 。 作 为 执行 经 理 ， 测 试 人 员 负 责 具 体 的 测试 任务 ， 也 应 该 积极 计划 并 
管理 自己 的 工作 。 本 节 讨 论 一 些 测 试管 理 的 基本 关注 点 。 


9.2.1 个 人 测试 计划 应 该 是 项 目测 试 计划 的 延伸 


通常 ， 测 试 经 理 或 资深 测试 人 员 会 编写 项 目的 测试 计划 ， 将 整个 项 目 过 
程 划分 为 几 个 里 程 碑 ， 并 定义 每 个 阶段 的 起 止 时 间 、 预 定 目标 、 测 试 任 
务 和 测试 执行 者 《参见 2.1 节 ) 。 作 为 具体 任务 的 负责 人 人， 测试 人 员 需 
要 在 总 体 测试 计划 的 基础 上 ， 将 测试 任务 转化 为 一 系列 小 的 测试 目标 ， 
并 拟定 相应 的 测试 策略。 这 是 一 个 具体 化 的 过 程 ， 将 一 个 概括 描述 的 任 
se eR ae 
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。 测 试 对 象 ， 该 工作 项 测试 哪些 模块 、 功 能 、 质 量 特性 和 用 户 情 
R? “测试 完成 "的 定义 是 什么 ? 


MARE: 使 用 哪些 方法 来 测试 ”有 哪些 测试 想法 ? 需要 针对 哪些 
项 目 风险 ? 


测试 资源 ， 完 成 任务 需要 哪些 软件 和 硬件 资源 ? 是 否 需 要 编写 测试 
工具 ?是否 需 要 其 他 测试 人 员 的 协助 ? 


测试 时 限 : 测试 活动 何 时 开始 和 结束 ? 在 这 期 间 ， 投 入 多 少 精力 在 
该 测试 任务 中 ?如 果 测 试 活动 不 能 按时 完成 (可 能 原因 包括 测试 资 
源 不 足 、 阻 碍 测试 进展 的 严重 缺陷 、 突 然 出 现 的 高 优先 级 任务 
等 ) ， 应 该 如 何 处 理 ? 


。 测 试 成 果 :， 测试 活动 的 成 果 是 什么 ? 需要 提交 哪些 测试 报告 ? 需要 
将 哪些 自动 化 测试 交付 使 用 ? 需要 交付 哪些 测试 工具 ? 


经 过 细 化 ， 测 试 人 员 可 以 将 一 个 里 程 碑 级 别 的 任务 分 解 为 一 组 工作 项 。 
在 安排 工作 项 的 进度 时 ， 他 应 该 形成 稳定 的 测试 市 稚 ， 即 利用 测试 的 过 
代 过 程 ， 以 固定 的 周期 来 执行 和 报告 工作 项 。 以 下 是 几 种 常见 的 测试 周 























期 方案 ， 表 9-1 是 它们 的 示例 。 


。 以 里 程 碑 为 测试 从 代 周 期 。 许 多 研发 团队 采用 达 代 开发 的 流程 ， 碗 
代 周 期 通常 为 2~4 周 。 测 试 人 员 可 以 沿用 此 开 肥 周期 来 安排 测试 工 
作 的 迭代 。 因 为 测试 人 员 需 要 快速 、 持 续 地 反馈 产品 质量 ， 所 以 测 
试 欠 代 周期 在 实践 上 应 该 小 于 里 程 碑 。 如 果 里 程 碑 的 持续 时 间 为 
2~3 个 月 ， 那 么 测试 欠 代 周期 不 宜 超过 4 周 。 


以 周 为 测试 过 代 周 期 。 测 试 人 员 以 周 为 时 间 单 位 规划 自己 的 工作 ， 
以 执行 工作 项 和 发 送 测试 报告 。 该 方法 利用 自然 周 这 个 天 然 的 工作 
单元 ， 能 够 方便 地 规划 工作 ， 并 持续 地 报告 产品 的 质量 信息 。 


以 构建 为 测试 迭代 周期 。 对 于 一 些 需 要 在 短 时 间 内 完成 的 测试 任务 
《如 训 试 需要 快速 发 布 的 产品 补丁 ) ， 测 试 人 员 可 以 用 构建 来 安排 
测试 工作 。 通 党 的 集 略 是 ， 第 一 轮 测试 全 面 履 盖 代 人 码 变 更 ， 第 二 轮 
测试 针对 第 一 轮 测试 肥 现 的 缺陷 ， 且 检查 缺陷 修复 是 否 引 入 新 的 缺 
陷 ， 第 三 轮 测 试 针对 第 一 、 二 轮 发 现 的 缺陷 ， 并 执行 回归 测试 。 


表 9-1 ”以 测试 周期 安排 工作 项 


里 程 碑 (项 目 计 | 以 里 程 碑 为 测试 迭代 | 以 周 为 测试 迭代 | 以 构建 为 测试 迭代 
划 ) 周期 周期 周 



































工作 项 A: 构建 1 
工作 项 A 项 工作 项 A: 构建 2 
工作 项 B 工作 项 A: 构建 3 


工作 项 C 








工作 项 D 
工作 项 E 
工作 项 F 
工作 项 G 











对 于 不 同 的 工作 项 ， 测 试 人 员 可 以 采用 不 同 的 工作 周期 。 对 于 紧急 的 工 
作 ， 他 需要 以 构建 为 周期 。 对 于 不 紧急 且 低 优先 级 的 工作 ， 他 可 以 采用 
里 程 碑 为 周期 。 对 于 大 多 数 工 作 ， 以 周 为 碗 代 周 期 是 较 好 的 选择 。 如 果 
一 个 工作 项 较 大 ， 不 能 在 一 周 的 时 间 内 完成 ， 测 试 人 员 可 以 将 其 拆 分 成 
奉 干 小 工作 项 ， 以 放 入 周 达 代 中 。 





9.2.2 制订 个 人 测试 计划 时 应 该 综合 考虑 各 种 项 目 元 系 


3.2.1 节 介绍 了 局 发 式 测试 计划 的 语 境 模 型 HITPCM， 它 根据 项 目 语 境 

(软件 开发 、 测 试 团队 、 测 试 实验 室 、 项 目 需 求 ) ， 来 决定 测试 任务 和 
测试 过 程 。 这 是 一 个 有 价值 的 参考 模型 ， 提 出 了 一 组 影响 测试 任务 和 过 
程 的 项 目 元 素 。 测 试 人 员 可 以 用 它 评估 当前 状态 ， 从 而 制定 具体 的 测试 
工作 项 。 此 外 ， 他 还 可 以 利用 启发 式 测 试 策 略 模 型 (参见 4.2.1 节 〉 和 项 
目 风 险 列表 (参见 8.3.1 节 ) 来 多 角度 地 思考 项 目 风 险 ， 并 安排 相应 的 测 
试 活动 。 在 此 基础 上 ， 本 节 将 从 测试 协作 的 角度 来 讨论 个 人 测试 计划 。 


许多 时 候 ， 测 试 人 员 直 接 与 程序 员 协 作 。 程 序 员 发 布 构建 给 测试 人 
员 ， 测 试 人 员 测 试 构建 并 报告 缺陷。 随后 ， 程 序 员 修复 缺陷 ， 发 布 新 构 
建 ， 测 试 人 员 开 始 新 一 轮 的 测试 。 在 此 过 程 中 ,测试 人 员 需 要 考虑 如 下 


问题 。 


”区 个 代码 编写 与 测试 的 循环 需要 在 何 时 结束 ? 最终 的 代码 需要 在 休 
时 签 入 ? 


为 了 确保 代码 达到 预期 的 质量 标准 ， 应 该 做 哪些 测试 ?完成 这 些 测 
试 需要 多 长 时 间 ? 


如 果 程 序 员 述 迟 不 能 发 布 构 建 ， 使 得 可 用 的 测试 时 间 少 于 必须 的 测 
试 时 间 ， 应 该 如 何 处 理 ? 


如 末代 码 存在 许多 严重 缺陷 ， 使 得 测试 工作 被 阻塞 ， 以 致 于 难以 按 
时 完成 ， 应 该 如 何 处 理 ? 


能 人 否 与 程序 员 沟 通 ， 请 他 提前 发 布 〈 私 有 ) 构建 ， 使 得 一 些 测试 工 
作 可 以 提前 开始 ? 


如 果 测 试 构建 需要 大 量 的 时 间 ， 能 不 能 向 测试 经 理 申请 更 多 的 次 
源 ? 例如 ， 请 测试 经 理 安排 几 个 同事 一 起 测试 该 构建 ， 通 过 并 行 工 
作 来 加 速 测试 。 


为 了 绥 解 代码 不 能 按时 完成 的 风险 ， 测 试 人 员 需 要 加 强 与 同事 的 合作 。 
一 方面 ， 他 要 与 程序 员 密 切 交 流 ， 了 解 他 的 工作 进度 ， 并 尽 可 能 提供 快 
速 的 测试 服务 。 许 多 程序 员 愿 意 提 前 发 布 私有 构建 ， 让 测试 人 员 了 解 新 
设计 。 虽 然 这 些 构建 可 能 不 提供 完整 的 功能 ， 但 是 提供 了 设计 和 实现 的 















































详细 信息 ， 是 很 有 帮助 的 测试 参考 。 作 为 回报 ， 测 试 人 员 向 程序 员 报告 
私有 构建 中 的 问题 ， 让 他 可 以 快速 地 修复 缺陷 。 对 于 私有 构建 ， 测 试 人 
员 和 程序 员 可 以 约定 最 方便 的 缺陷 报告 方法 ， 例 如 口头 报告 、 邮 件 报 
告 、 正 式 报告 等 。 良 好 的 互动 可 以 让 代码 更 快 地 稳定 下 来 ， 从 而 按时 答 
入 。 在 代码 签 入 后 ， 测 试 人 员 需 要 遵循 日 常 流程 ， 用 正式 的 缺陷 报告 记 
录 构 建 中 的 问题 。 


劝 一 方面 ， 测 试 人 员 需 要 及 时 癌 测 试 经 理 报 告 测 试 进度 。 如 果 训 试 存在 
延 后 的 风险 ， 或 已 经 延 后 ， 测 试 人 员 应 该 立即 同 测 试 经 理 报告 。 不 要 隐 
藏 此 类 “ 坏 消息 ”， 这 会 让 汕 试 人 员 处 于 不 利 的 局 面 。 测 试 人 员 的 工作 是 
提供 产品 的 质量 信息 ， 而 产品 不 能 按时 完成 就 是 很 重要 的 质量 信息 ， 需 
要 让 项 目 关 系 人 知晓 。 隐 藏 不 报 是 一 种 失职 行为 ， 会 让 测试 人 员 的 信誉 
受 损 。 在 报告 之 后 ， 测 试 经 理 可 以 与 其 他 项 目 管理 者 协作 ， 运 用 更 多 的 
资源 ， 以 帮助 调试 人 员 和 程序 员 来 解决 问题 。 例 如 ， 他 们 会 指派 资 深 程 
序 员 来 解决 复杂 的 缺陷 ， 或 安排 更 多 的 测试 人 员 来 加 速 测试 。 保 持 信 息 
畅通 更 有 助 于 问题 的 解决 。 


除了 与 程序 员 协 作 ， 测 试 人 员 之 间 也 有 许多 合作 机 会 。 例 如 ， 在 大 型 
项 目的 集成 测试 中 ， 测 试 小 组 的 所 有 成 员 都 会 去 测试 同一 个 系统 ， 甚 至 
多 个 测试 小 组 需要 相互 配合 来 完成 整个 系统 的 测试 。 在 此 过 程 中 ， 测 试 
人 员 需 要 考虑 如 何 进行 测试 协作 。 以 下 是 一 些 启发 式 问 题 。 
。 掌握 集成 测试 的 时 限 和 目标 。 

o 集成 测试 预期 在 何 时 完成 ? 总体 目标 是 什么 ? 


o 一 共有 几 轮 测试 ? 每 一 轮 测试 预期 何 时 完成 ? 每 一 轮 测试 的 目 
标 是 什么 ? 


。 了解 测试 合作 者 和 他 们 的 职 贡 。 
o 有 哪些 测试 小 组 参与 集成 测试 ? 各 个 小 组 负 员 完成 什么 任务 ? 
o 有 哪些 测试 人 员 参 与 集成 测试 ? 每 个 人 负 员 完成 什么 任务 ? 
o 我 的 测试 小 组 负责 什么 任务 ? 
o 我 的 训 试 小 组 有 哪些 人 参与 集成 测试 ” 每 个 人 负 贡 完成 什么 任 























务 ? 
。 理 清 测试 依赖 ， 并 为 可 能 出 现 的 问题 制定 应 对 方案 。 


o 还 有 哪些 组 件 会 影响 我 所 测试 的 组 件 ? 这 些 组 件 的 测试 负责 人 
EVE? 我们 如 何 协作 ? 


o 我 所 测试 的 组 件 会 影响 哪些 组 件 ? 这 些 组 件 的 测试 负责 人 是 
WE? 我们 如 何 协作 ? 


o 如 果 茶 个 组 件 存 在 严重 缺陷， 使 得 我 无 法 测试 我 的 组 件 ， 我 应 
该 如 何 处 理 ? 


o 如 果 我 的 组 件 存 在 严重 缺陷 ， 使 得 其 他 测试 人 员 无 法 测试 其 组 
件 ， 我 应 该 如 何 处 理 ? 


。 考虑 测试 人 员 之 间 的 协作 方式 。 
o 通常 ， 集 成 测试 总 负责 人 会 召开 例会 ， 邀 请 所 有 参与 集成 测试 
的 测试 人 员 《 或 测试 小 组 的 代表 ) 参与。 例会 将 通报 每 个 组 件 
的 测试 进度 ， 并 协调 测试 工作 。 如 果 没 有 这 样 的 例会 ， 谁 可 以 
召集 测试 人 员 来 协调 工作 ? 我 可 以 召集 吗 ? 


o 例会 有 哪些 固定 的 议题 ?我 所 关心 的 议题 会 被 讨论 吗 ? 我 可 以 
提出 新 的 议题 吗 ? 


o 例会 如 何 处 理 集成 测试 中 的 协作 问题 ? 如 何 形成 决议 ? 
o 除了 例会 ， 还 有 了 哪些 正式 或 非 正式 的 测试 协作 方式 ? 
。 定期 报告 测试 进度 。 


o 谁 会 友 送 测试 报告 给 所 有 关系 人 ， 以 报告 整体 的 测试 进展 ? 我 
如 何 问 他 提供 信息 ? 


o 我 如 何 发 送 测试 报告 给 我 的 项 目 团队 ， 以 便 从 我 们 的 视角 来 检 
视 测试 进展 ? 


o 我 的 测试 经 理 期 望 我 如 何 报告 测试 进展 和 测试 结果 ? 














集成 测试 是 一 项 风险 性 比较 高 的 测试 活动 ， 在 测试 环境 、 测 试 情景 、 上 
下 洲 依 赖 、 缺 陷 侦 测 、 故 障 诊断 、 缺 陷 修 复 、 进 度 同步 等 方面 较 组 件 级 
测试 复杂 得 多 。 为 了 及 时 处 理 测试 过 程 中 浮现 的 问题 ,测试 人 员 需 要 与 
测试 同事 紧密 协作 。 定 期 召开 的 例会 是 第 见 的 协作 活动 ， 能 够 协调 不 同 
部 门 的 测试 人 员 ， 以 共同 解决 一 个 部 门 不 能 处 理 的 问题 。 如 果 当 前 的 集 
成 测试 没有 例会 ， 测 试 人 员 应 该 在 测试 经 理 许 可 的 情况 下 ， 主 动 组 织 测 
试 协 调 会 议 ， 并 邀请 相关 测试 负责 人 参与 。 一 般 而 言 ， 例 会 应 该 聚焦 大 
部 分 测试 人 员 关 注 的 议题 : 介绍 当前 集成 测试 的 进度 、 公 布 那 些 影 响 或 
阻碍 集成 测试 的 问题 、 讨 论 多 部 门 协作 才能 解雇 的 问题 、 安 排 下 一 轮 测 
试 的 工作 等 。 在 会 议 上 ， 测 试 人 员 应 该 积极 发 言 ， 提 出 急需 解决 的 缺陷 
和 重大 项 目 风 险 ， 争 取 其 他 部 门 测试 人 员 的 支持 ， 也 疝 他 们 提供 帮助 。 
除了 例会 ， 测 试 人 员 之 间 还 可 以 通过 和 面谈、 电话 、 邮 件 、 即 时 通信 等 多 
种 方式 快速 地 交换 信息 ， 以 提高 测试 协作 的 效率 。 


在 集成 测试 过 程 中 ， 测 试 人 员 应 该 频繁 地 向 测试 经 理 报 告 测 试 进 展 。 因 
为 集成 测试 可 能 涉及 多 个 部 门 ， 测 试 人 员 未 必 了 解 其 他 部 门 的 情况 。 拥 
有 更 多 信息 的 测试 经 理 能 够 帮助 他 更 好 地 理解 测试 伙伴 和 系统 全 貌 。 此 
外 ， 测 试 经 理 拥有 更 多 的 测试 资源 和 交流 渠道 。 一 些 重 大 问题 需要 他 和 
其 他 测试 经 理 一 起 协作 解决 。 及 时 地 报告 问题 将 帮助 测试 管理 者 了 解 产 
品 风险 ， 并 采取 必要 的 行动 ， 以 扭转 危局 。 


从 测试 写 理 的 角度 ， 测 试 人 员 需 要 与 工作 伙伴 通力 协作 ， 并 密切 退 踪 工 
作 项 的 实际 进展 。 测 试 工作 位 于 整个 研发 流程 的 下 游 ， 且 紧密 依赖 于 上 
游 活动 的 产 出 。 在 许多 项 目 中 ， 测 试 进度 延 后 是 测试 人 员 第 种 遇 到 的 情 
况 ， 是 测试 管理 必须 考虑 的 风险 。 在 制订 个 人 测试 计划 时 ， 测 试 人 员 需 
要 考虑 这 些 风险 ， 并 安排 相应 的 任务 去 监控 风险 和 化 解 问题 。 


9.2.3 测试 需要 动态 管理 


在 许多 软件 项 目 中 ， 测 试 活动 具有 高 变动 性 ， 往 往 以 预料 之 外 的 方式 展 
开 。 以 下 是 一 些 常 见 的 原因 。 


© 在 测试 之 初 ， 测 试 人 员 很 难 预 测 产 品 会 具有 哪 类 缺陷 ， 他 所 拟定 
的 测试 琐 略 可 能 大 获 成 功 ， 也 可 能 无 法 肥 效 。 随 着 测试 的 进展 ， 
他 会 持续 发 现 新 信息 ， 并 学 到 许多 产品 和 业务 知识 。 基 于 新 情况 和 
新 知识 ， 他 应 该 调整 原 有 的 测试 计划 ， 放 弃 无 效 的 测试 想法 ， 补 充 
新 的 测试 想法 去 针对 真正 的 风险 。 这 是 探索 的 过 程 ， 作 为 探险 者 的 





























测试 人 员 向 握 一 份 地 图 ( 原 有 的 测试 计划 〉 ， 但 需要 根据 地 形 随 时 
修正 前 进 路 线 。 


测试 工作 处 于 整个 研 必 流程 的 下 游 ， 会 依赖 一 些 测 试 人 员 不 可 控 
HA EDFA ZS 。 例 如 ， 测 试 人 员 为 测试 菏 个 功能 安排 了 一 周 的 时 
间 ， 然 而 该 功能 的 交付 延迟 了 一 周 ， 但 是 产品 发 布 日 期 没有 变动 。 
这 意味 着 测试 人 员 损 失 了 一 周 的 时 间 ， 面 临 更 紧张 的 进度 压力 。 又 
例如 ， 产 品 歇 露出 一 个 严重 的 缺陷 ， 使 得 茶 些 用 户 情 景 无 法 测试 。 
程序 员 述 迟 不 能 修复 该 缺陷 ， 这 导致 测试 无 法 推进 ， 测 试 时 间 被 无 
形 地 压缩 。 面 对 这 些 情况 ， 测 试 人 员 必 须 调整 测试 计划 ， 重 新 安排 
测试 工作 项 和 测试 达 代 。 


一 些 训 试 工作 对 测试 环境 和 资源 有 较 高 的 要 求 ， 会 依赖 一 些 项 目 
团队 不 可 控制 的 因素 。 例 如 ， 项 目 团 队 与 伙伴 团队 做 系统 集成 ， 

程序 员 可 以 根据 约定 好 的 接口 编写 代码 ， 而 无 需 考 虑 伙伴 团队 的 有 具 
体 实现 ， 但 是 测试 人 员 必 须 在 集成 测试 中 黎 盖 两 个 系统 的 协作 情 

景 。 如 宋 伙伴 团 队 不 能 及 时 地 提供 可 测试 的 系统 ， 集 成 测试 计划 束 
被 打 乱 。 又 例如 ， 程 序 员 在 单元 测试 中 只 需要 使 用 少量 的 业务 数 

据 ， 但 是 测试 人 员 在 系统 测试 中 必须 使 用 真实 的 《或 仿真 的 ) 大 批 
业务 数据 。 这 些 测 试 数据 很 可 能 需要 其 他 团队 提供 。 如 果 数 据 不 能 
及 时 到 位 ， 那 么 系统 测试 计划 就 需要 调整 。 


开发 过 程 中 会 有 一 些 突 发 事件 ， 使 得 训 试 人 员 不 得 不 中 断 当 前 工 
作 去 紧急 处 理 。 例 如 ， 测 试 实 验 室 遭遇 停电 事故 ， 有 一 些 计算 机 
在 恢复 供电 之 后 不 能 局 动 。 羔 任 实验 室 管 理 员 的 测试 人 员 不 得 不 调 
查 计算 机 故障 ， 尺 力 修 复 问 题 ， 使 得 其 他 测试 人 员 可 以 使 用 计算 
机 。 又 例 如， 在 线 系统 发 现 了 一 个 安全 漏洞 ， 需 要 紧急 修复 。 程序 
员 加 班 加 点 ， 发 布 了 一 个 补丁 ， 接 下 来 测试 人 员 实 施 蜗 强度 的 补丁 
测试 。 这 样 的 修复 与 测试 过 程 可 能 会 持续 几 天 ， 使 得 原 计划 的 工作 
项 被 延迟 。 


ADL, WWE ACE ea EE IL, re LAR IN BAR E AAI AIT 
发 过 程 在 测试 领域 的 上 自然 结果 。 测 试 人 员 应 该 主动 地 面 对 变 化 ， 用 动态 
管理 来 积极 调整 测试 计划 。 


第 一 ， 在 考虑 特定 测试 对 象 时 ， 测 试 人 员 应 该 为 研究 与 调 但 预 留 足 够 
的 时 间 。 在 规划 测试 时 ， 测 试 人 员 可 能 还 没 获 得 产品 构建 。 此 时 ， 他 
要 尽 可 能 发 散 性 思考 ， 借 助 测试 指南 、 功 能 列表 、 检 查 列表 、 测 试想 法 





















































列表 、 缺 陷 目录 等 资料 〈 参 见 3.2 节 ) ， 提 出 一 组 差异 化 的 测试 想法 ， 

全 面 覆 兰 当 时 能 想到 的 测试 类 型 。 根 据 已 知 的 训 试 想法 ， 训 试 人 员 提 出 
工作 量 估算 ， 并 附加 一 些 缓冲 时 间 。 在 实际 测试 时 ， 测 试 人 员 要 积极 评 
估 测 试想 法 的 有 效 性 。 一 旦 发 现 某 个 测试 想法 没有 帮助 ， 他 应 该 立即 放 
弃 。 这 样 做 不 是 为 了 减少 测试 工作 量 ， 而 是 为 有 潜力 的 想法 提供 更 多 的 
测试 时 间 。 随 着 测试 的 深入 ， 测 试 人 员 会 产生 新 的 测试 想法 。 他 需要 通 
过 测试 来 检查 这 些 想 法 的 有 效 性 ， 并 将 时 间 投 放 在 那些 有 效 的 想法 上 。 


第 二 ， 测 试 人 员 需 要 动态 地 调整 工作 项 和 测试 想法 的 优先 级 。“ 要 事 

第 一 ”是 软件 项 目 管理 的 基本 原则 。 如 果 项 目 团队 总 是 先 做 高 价值 的 功 
能 ， 当 他 们 必须 舍弃 没有 完成 的 工作 而 立即 发 布 时 ， 被 舍弃 的 是 相对 不 
重要 的 功能 。 这 使 得 产品 可 以 提供 尽 可 能 多 的 价值 。 测 试 工 作 也 是 如 

此 ， 测 试 人 员 应 该 先 执 行 重要 的 任务 ， 使 得 重要 的 缺陷 尽早 被 发 现 。 为 
此 ， 他 需要 周期 性 地 评估 产品 状态 和 项 目 风险 ， 调 整 测试 工作 项 和 测试 
想法 的 优先 级 。 如 果 他 对 一 些 任务 的 优先 级 有 疑问 ， 可 以 咨询 测试 经 

理 ， 请 他 提供 信息 。 如 宁 他 对 茶 个 测试 想法 的 有 效 性 没有 把 握 ， 可 以 安 
排 一 个 短 的 时 间 盒 ， 用 实际 测试 去 检查 想法 。 基 于 优先 级 安排 工作 ， 测 
试 人 员 能 够 将 大 部 分 测试 时 间 投 放 在 重要 的 领域 ， 仅 用 少量 时 间 去 快速 
检验 不 重要 的 领域 。 


第 三 ， 测 试 人 员 可 以 借助 测试 达 代 ， 定 期 评估 项 目 情况 ， 并 调整 测试 
工作 项 。 在 大 多 数 项 目 中 ， 以 周 为 测试 欠 代 周期 能 够 获得 较 好 的 效 
果 。 在 里 程 碑 之 初 ， 测 试 人 员 实 施 “ 里 程 碑 计划 ”， 确 定 里 程 碑 需 要 完成 
的 任务 ， 制 定 工作 项 列表 ， 并 把 它们 安排 到 合适 的 星期 中 。 里 程 碑 计划 
能 够 揭示 一 些 项 目 风 险 。 例 如 ， 计 划 结 果 是 每 周 都 有 许多 工作 ， 这 上 暗示 
测试 任务 没有 绥 冲 的 余地 ， 一 旦 某 个 任务 超时 ， 很 可 能 没有 时 间 完 成 余 
下 的 任务 。 男 一 个 典型 的 风险 是 ， 一 项 重要 的 测试 工作 被 安排 在 最 后 一 
周 。 如 末 程 序 员 不 能 按时 交付 构建 ， 测 试 人 员 无 法 在 里 程 碑 结束 前 完成 
测试 。 对 于 这 些 风险 ， 测 试 人 员 需 要 与 测试 经 理 、 程 序 员 和 相关 人 员 协 
商 ， 共 同 制定 缓解 方案 。 


在 获得 里 程 碑 计 划 之 后 ， 测 试 人 员 以 周 为 单位 ， 友 代 地 实施 测试 ， 其 过 
程 如 图 9-1 所 示 。 在 周一 ， 他 评估 当前 的 测试 情况 ， 更 新 本 周 的 工作 项 
列表 ， 加 入 新 出 现 的 任务 ， 删 除 不 再 需要 的 任务 ， 并 为 每 一 项 任务 制定 
优先 级 。 通 过 “ 周 计划 ”， 他 获得 了 一 份 符合 项 目 实情 的 工作 计划 ， 为 实 
现 “ 要 事 第 一 ”提供 了 基础 。 经 过 一 周 的 工作 ， 他 在 周 五 发 送 测试 报告 给 
测试 经 理 和 项 目 管 理 者 ， 综 述 测 试 情况 ， 并 报告 新 浮现 的 项 目 风 险 。 一 























方面 ， 测 试 报告 帮助 经 理 了 解 项 目 进展 ， 为 他 们 的 诀 策 提供 必要 的 信 

妃 。 另 一 方面 ， 撰 写 测试 报告 的 过 程 也 是 评估 测试 进度 的 过 程 ， 能 够 帮 
助 测试 人 员 更 好 地 实施 下 周 的 计划 。 以 周 为 单元 ， 友 代 地 执行 “计划 ~” 

总 结 ? 能 够 帮助 测试 人 员 动 态 调整 测试 计划 ， 以 应 对 持续 变化 的 
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图 9-1 ATERIK KIWIRA 


第 四 ， 测 试 人 员 应 该 关注 项 目 风险 ， 并 及 时 间 程 序 员 、 产 品 经 理 和 测 
试 经 理 报告 。 测 试 专家 Cem Kaner 等 指出 ， 测 试 人 员 是 项 目的 前 灯 (the 
headlights of the project) ， 应 该 为 项 目 决 策 提 供 信息 基础 区 aner01]。 人 恰 
如 本 章 反 复 强 调 的 ， 测 试 人 员 很 可 能 没有 足够 资源 去 解决 他 所 面临 的 问 
题 。 隐 藏 严重 的 缺陷、 落后 的 进度 很 可 能 导致 项 目 延 期 、 产 品 失败 等 严 
重 后 果 。 及 时 地 报告 阻碍 测试 的 问题 、 测 试 进度 的 延 后 、 产 品 所 其 露 的 
缺陷 、 项 目 所 遇 到 的 风险 ， 是 测试 人 员 不 可 推 芭 的 职责 。 这 些 信 息 

将 “ 照 亮 ?项 目前 方 的 道路 ， 让 项 目 管理 者 看 清 实际 路 况 。 因 为 他 们 和 掌握 
更 多 的 资源 和 信息 ， 且 可 以 作出 重大 发 布 决策 (包括 延迟 发 布 、 删 减 功 
能 集 等 ) ， 所 以 更 可 能 扭转 项 目的 前 进 方向 ， 以 避免 在 黑夜 中 险 入 巧 
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退 一 步 说 ， 报 告 测试 工作 的 困难 或 延迟 是 一 种 “ 目 我 保护 ?的 手段 。 面 对 
严重 落后 的 进度 时 ， 有 些 测试 人 员 答 试 隐 瞒 “ 坏 消 轧 ”， 并 期 望 加 班 工作 
可 以 挽回 进度 。 这 样 的 策略 有 时 可 以 委 效 ， 更 多 的 时 候 只 能 让 坏 消 妃 在 
最 后 一 刻 暴 露出 来 。 那 时 产品 面临 发 布 或 里 程 碑 结 束 ， 项 目 团 队 己 经 没 
有 时 间 来 床 取 补救 措施 ， 测 试 人 员 将 面 对 他 无 法 承担 的 巨大 责任 。 为 了 
避免 这 样 的 情况 ， 测 试 人 员 应 该 尽早 报告 他 所 偶遇 的 困难 ， 以 获得 测试 
经 理 和 团队 成 员 的 帮助 。 这 保护 了 他 的 职业 发 展 ， 也 帮助 了 项 目 团 队 。 


第 五 ， 测 试 人 员 需 要 经 常 自 问 :“ 我 现在 可 以 测试 什么 ?能够 如 何 测 
试 ? ”[Kaner01] 。 这 是 两 个 看 似 平常 ， 但 是 具 有 提示 意义 的 局 发 式 问 
































题 。 在 忙碌 的 项 目 中 ， 测 试 人 员 可 能 无 暇 思考 ， 只 是 巡 循 已 有 的 测试 计 
划 。 这 样 的 忙碌 状态 会 让 他 错过 一 些 有 价值 的 测试 情报 ， 漏 挥 一 些 改进 
测试 策略 的 机 会 。 在 每 个 里 程 碑 和 每 个 迭代 周期 ， 都 用 两 个 问题 去 检视 
软件 项 目 和 测试 傈 略 ， 可 以 帮助 测试 人 员 实 施 动态 管理 ， 让 测试 集 略 随 
者 项 目 一 起 发 展 。 


在 某 种 程度 上 ， 本 节 的 内 容 是 用 动态 管理 来 应 对 项 目 级 别 的 风险 (参见 
8.3.3 节 ) 。 也 就 是 说 ， 测 试 人 员 需 要 将 项 目 风 险 作为 驱动 测试 计划 发 展 
的 重要 因素 ， 持 续 地 监控 风险 ， 并 制定 相应 的 行动 方案 。 毕 葛 好 的 测试 
策略 是 产品 相关 、 关 注 风 险 、 多 种 多 样 、 讲 求实 用 的 [Kaner01]。 

















9.3 软件 估算 


实施 有 效 计 划 的 一 个 重要 前 提 是 准确 地 估算 工作 项 所 需 的 时 间或 成 本 。 
程序 员 需 要 估算 编写 和 单元 测试 一 个 功能 需要 多 长 时 间 ， 测 试 人 员 需 要 
估算 完成 该 功能 的 所 有 测试 需要 多 长 时 间 ， 这 些 估算 值 构 成 了 项 目 整体 
计划 的 基础 。 软 件 行业 的 普遍 情况 是 ， 项 目 团队 会 低估 (甚至 故意 低 

佑 〉 完 成 工作 所 需要 的 时 间 。 在 许多 项 目 中 ， 过 低 的 估算 和 不 民 的 管理 
导致 进度 紧张 、 发 布 延期 代价 高 昂 。 


软件 开发 专家 Steve McConnell 的 名 车 《 软 件 估 算 一 一 “黑匣子 ”揭秘 》 
(Software Estimation: Demystifying the Black Art ) 详细 讨论 了 软件 估算 
的 核心 概念 和 一 些 估算 方法 ， 具 有 很 蜗 的 参考 价值 [McConnell06]。 本 市 
将 介绍 该 书 的 一 些 关 键 观点 。 


9.3.1 测试 人 员 应 该 估算 自己 的 任务 


在 软件 开发 中 ， 以 下 几 个 拥有 不 同 含义 的 词汇 常 利 被 无 意识 地 混用 ， 导 
致 了 误解 和 歧义 。 因 此 ， 有 效 估 算 的 第 一 步 古 正确 理 解 基本 概念 。 


。 估算 是 对 任务 所 需 的 时 间或 成 本 的 预测 。 估 算 应 该 是 客观 的 分 析 过 
Rs 
时 间 和 资源 。 


。 目标 是 期 望 完成 的 任务 。 在 软件 项 目 中 ， 御 见 的 目标 包括 编码 完 
成 、 测 试 完成 、 友 布 等 。 


。 计划 是 实现 目标 的 方案 。 与 估算 不 同 ， 计 划 是 主观 的 目标 求解 过 
程 ， 旨 在 充分 利用 项 目 时 间 和 资源 ， 以 最 大 的 概率 去 达成 目标 。 


o 承 话 是 许 话 在 特定 日 期 之 前 完成 目标 。 在 软件 项 目 中 ， 承 诡 意 味 
a AEA IA” OTE, DRA BE LL HY TA) ay o 


在 许多 时 候 ， 项 目 关系 人 并 不 掌握 以 上 概念 的 差别 ， 所 以 他 们 常常 将 估 
算 等 同 于 计划 或 承诺 。 例 如 ， 项 目 主管 问 测试 人 员 : “你 评估 完成 集成 
测试 需要 多 长 时 间 ? 产品 还 有 一 个 月 就 要 上 线 了 ， 时 间 够 用 吗 ? "在 字 
面 上 ， 项 目 主管 在 询问 集成 测试 的 估算 ， 其 实 他 是 在 〈 用 委婉 的 口气 ) 



































要 求 测试 人 员 承 话 在 一 个 月 时 间 内 完成 测试 。 又 例如 ， 测 试 经 理 问 测试 
人 员 :“ 你 认为 完成 集成 测试 需要 多 长 时 间 ? 产品 还 有 一 个 月 束 要 上 线 
了 ， 时 间 够 用 吗 ? ?对 于 大 多 数 技术 领导 而 言 ， 该 问题 是 要 求 测试 人 员 
给 出 一 个 切实 可 行 的 计划 ， 以 按时 完成 集成 测试 。 如 果 测 试 人 员 随 口 答 
道 “ 一 个 月 时 间 足 够 了 ”， 那么 测试 经 理会 认为 他 已 经 拥有 了 一 个 很 好 的 
计划 ， 并 且 承 话 在 一 个 月 之 内 完成 任务 。 


为 了 避免 误解 ， 测 试 人 员 需 要 理解 关系 人 的 真实 意图 ， 并 就 所 讨论 的 内 


容 达成 共识 。 以 下 是 几 个 需要 交流 的 要 点 。 


。 估算 、 计 划 和 承 诡 的 核心 是 目标 。 只 有 清楚 地 定义 目标 ， 才 能 i 
行 有 意义 的 估算 、 计 划 和 承诺。 因此 ， 测 试 人 员 需 要 向 关系 人 确认 
任务 的 内 容 ， 以 及 关系 人 对 完成 质量 的 期 望 。 如 果 任 务 是 集成 测 
试 ， 那 么 测试 人 员 需 要 询问 测试 的 范围 和 测试 完成 的 标准 。 


测试 人 员 需 要 问 关 系 人 询问 ， 他 完 竟 需要 什么 信息 ， 以 及 为 什么 
需要 这 些 信 息 。 如 果 关 系 人 索取 估算 ， 他 有 可 能 在 进行 项 目 级 别 
的 估算 ， 希 望 测 试 人 员 提 供 局 部 的 详细 信息 。 如 果 关 系 人 需要 计 
划 ， 他 有 可 能 期 望 了 解 调 试 活动 的 关键 时 间 点 ， 以 协调 多 项 测试 活 
动 。 如 打 关 系 人 期 得 承 语 ， 他 有 可 能 期 望 测 试 人 员 确 认 测 试 任务 可 
以 授时 完成 。 了 解 关系 人 的 动机 可 以 帮助 测试 人 员 所 供 正 确 的 答 
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测试 人 员 应 该 与 天 系 人 协商 ， 确 定 一 个 提交 正式 答 采 的 时 间 。 除 
非 测 试 人 员 对 目标 进行 过 认真 的 估算 和 计划 ， 人 否则 他 不 应 该 当场 给 
出 估算 、 计 划 或 承诺 。 在 交谈 的 时 候 ， 测 试 人 员 仅 能 凭借 经 验 进行 
估算 ， 很 难得 出 准确 的 估算 值 或 稳健 的 方案 ， 而 根据 不 民 估 算 所 做 
的 承 话 很 可 能 无 法 狗 现 。 他 应 该 回 关系 人 说 明 ， 他 需要 认真 分 析 之 
后 ， 才 能 给 出 确切 的 答案 。 然 后 ， 他 和 关系 人 约定 一 个 时 间 ， 届 时 
他 会 提供 正式 的 答案 。 


里 然 目 标 、 估 算 、 计 划 和 承诺 拥有 不 同 的 语义 ， 但 是 在 个 人 测试 管理 

中 ， 它 们 通常 是 紧密 关联 的 。 测 试 人 员 获 得 一 个 测试 任务 之 后 ， 应 该 调 
坦 它 的 目标 和 完成 标准 。 之 后 ， 将 其 分 解 为 一 组 测试 工作 项 ， 并 估算 每 
个 工作 项 所 需 的 时 间 ， 以 获得 该 任务 的 时 间 估 算 。 如 果 该 任务 所 需 的 时 
间 超 过 预算 ， 测 试 人 员 会 调整 工作 项 ， 以 减少 任务 所 需 时 间 。 如 宁 测 试 
人 员 发 现 满足 完成 标准 所 需要 的 最 短 时 间 仍 旧 超出 预算 ， 他 需要 向 测试 
经 理 说 明 该 任务 无 法 在 期 望 时 间 内 完成 。 可 见 ， 估 算是 测试 计划 的 重要 




















环节 ， 是 评估 测试 计划 是 侣 合理 的 重要 指标 ， 也 是 测试 人 员 是 否 做 出 承 
诡 的 基础 。 


测试 人 员 应 该 负责 自己 任务 的 估算， 而 不 是 无 条 件 地 接受 他 人 的 估算 。 
根据 别人 的 估算 做 出 承诺 ， 很 可 能 让 自己 处 于 不 利 的 情景 。 例 如 ， 测 试 
经 理 让 测试 人 员 在 5 天 内 完成 一 项 测试 任务 。 某 些 测 试 人 员 会 不 假 思索 
地 答应 下 来 。 不 竺 的 是 ， 在 实际 测试 过 程 中 ， 他 发 现 该 测试 任务 很 复 

杂 ， 需 要 更 多 的 时 间 。 为 了 不 违背 自己 的 承 诡 ， 他 和 硬 着 头皮 做 下 去 ， 答 
试 着 用 加 班 来 完成 任务 。 然 而 埋头 工作 并 没有 加 快 进度 ， 在 第 5 天 ， 他 
不 得 不 面 对 任 务 无 法 完成 的 局 面 。 这 时 ， 他 有 两 个 选择 : 好 的 选择 是 报 
告 测 斌 经理， 测试 任务 没有 完成 ， 他 需要 更 多 的 时 间 ;， 兰 的 选择 是 隐瞒 
测试 任务 的 真实 进度 ， 报 告 测试 任务 完成 。 无 论 如 何 ， 他 都 没有 兑现 “5 
天 内 按照 标准 完成 任务 的 承诺 ， 为 项 目 引 入 了 风险 。 倘 知 风 险 暴 露 为 
事故 ， 那 么 他 不 得 不 面 对 问 责 。 


在 上 例 的 情景 中 ， 有 经 验 的 测试 人 员 会 采取 不 同 的 做 法 。 在 接 到 任务 

后 ， 他 会 估算 完成 它 需 要 的 时 间 。 如 果 发 现 该 任务 需要 8 天 才能 完成 ， 

他 会 立即 与 测试 经 理 讨论 该 估算 值 。 讨 论 的 主要 目的 不 是 说 服 测试 经 理 
接受 上 自己 的 估算 值 ， 而 是 理解 为 什么 两 个 估算 值 存在 普 异 。 是 两 人 对 任 
务 内 容 的 理解 存在 差异 吗 ? 是 测试 经 理 拥有 一 些 高 效 的 测试 方法 吗 ? 是 
测试 经 理 知 晓 其 他 测试 人 员 会 履 凋 部 分 测试 内 容 吗 ? 是 存在 东 些 强制 条 
件 ， 使 得 该 任务 必须 在 5 天 内 完成 吗 ? 在 理 清 这 些 问题 后 ， 测 试 人 员 和 
测试 经 理 通 常 可 以 对 任务 的 内 容 和 完成 方式 达成 一 臻 意见， 并 获得 一 个 
双方 都 认可 的 估算 值 。 一 些 可 能 的 讨论 结果 包括 : 训 试 经 理 缩 减 了 测试 
任务 的 范围 ， 使 得 测试 任务 可 以 在 5 天 内 完成 ; 测试 经 理 同 意 8 天 是 合理 
的 估算 值 ， 测 试 经 理 为 该 任务 投入 更 多 的 人 手 ， 使 得 估算 值 降 到 5 天 。 


总 之 ， 估 算是 测试 管理 和 项 目 协 作 的 重要 活动 ， 是 计划 和 承 话 的 基础 。 
负责 任 的 测试 人 员 会 谨慎 地 评估 工作 项 的 时 间 ， 并 用 估算 值 来 分 析 工 作 
计划 的 可 行 性 。 如 果 他 人 对 估算 值 存 在 不 同意 见 ， 他 会 将 分 歧视 为 交流 
的 机 会 ， 通 过 交换 意见 来 达成 共识 。 

9.3.2 ”用 计数 和 计算 作为 估算 手段 


Steve McConnell 用 一 个 非常 精彩 的 故事 解释 了 估算 的 基本 手段 。 本 届 将 
其 引用 如 下 。 


你 和 几 个 估算 人 员 参 与 一 个 大 型 的 招待 会 ， 大 房间 中 坐 满 了 人 。 突 









































然 ， 司 仪 用 麦 殉 风 发 问 :“ 谁 可 以 准确 地 估算 出 这 个 房间 中 有 多 少 
与 会 者 ? ” 
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估算 人 员 Kanl 说 : “房间 里 的 果子 排 成 了 矩阵 ， 共 有 11 行 7 列 。 会 议 
组 织 者 告诉 我 一 张 人 桌子 坐 5 个 人 人， 目测 也 是 如 此 。 所 以 ，11 乘 7 再 乘 
5， 一 共有 385 人 。” 


估算 人 员 Lucy 说 :“ 我 注意 到 该 房间 有 容量 标记 ， 它 最 多 可 以 容纳 
485 人 。 看 上 去 ,目前 已 经 坐 满 了 70%~80%， 也 就 是 说 有 340~388 
人 。 取 平均 数 就 是 365 人 。” 


你 说 :“ 我 去 调查 一 下 ， 片 刻 就 回 。” 几 分 钟 后 ， 你 公布 了 调查 结 
果 :“ 进 入 房间 之 前 要 扫描 门票 。 我 去 问 了 门口 的 验 票 员 ， 她 说 根 
据 扫 接 胡 ， 一 共 扫 描 了 407 张 票 ， 而 且 目 前 没有 人 离开 。 所 以 ,与 
会 者 应 该 为 407 人 。” 


司仪 公布 的 答案 恰恰 是 407 人 。 
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。 计数 是 最 优先 的 估算 方法。 只 要 可 以 用 清点 的 方式 来 获得 答案 ， 
就 应 该 采用 这 种 直截了当 的 方法 。 它 通常 能 给 出 最 准确 的 答案 。 


计算 是 次 优 的 估算 方法 。 如 果 无 法 用 计数 获得 答案 ， 就 应 该 先 对 
茶 些 对 象 进行 计 数 ， 然 后 根据 特定 的 算法 来 计算 估算 值 。Karl 先 清 
点 了 果子 的 数目 ， 然 后 根据 每 桌 5 人 的 信息 算出 了 估算 值 。Lucy 移 
了 解 了 房间 的 容量 ， 然 后 根据 感觉 “房间 坐 满 了 70%~80%) 算出 
本 估算 值 。 

判断 是 最 后 的 手段 。B 记 纯粹 根据 感觉 提供 了 度量 值 ， 很 大 程度 上 
sa 
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测试 人 员 不 应 该 将 估算 、 计 划 和 承诺 建立 在 运气 之 上 ， 所 以 他 应 该 尽 可 
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件 项 目 中 ， 大 部 分 估算 都 来 目 “ 提 脑袋 ”的 判断 。 在 此 环境 中 ， 如 果 训 试 
人 员 不 立即 给 出 估算 值 ， 而 是 说 “请 让 我 数 一 数 〈 或 算 一 算 ) ”， 他 会 被 
认为 不 够 “勇敢 果断 ”。 对 此 ， 测 试 人 员 应 该 顶 住 仓促 决定 的 压力 ， 坚 持 
Aa 
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对 于 许多 测试 任务 ， 测 试 人 员 很 难 直接 使 用 计数 的 方法 。 对 此 ， 他 可 以 
将 测试 任务 分 解 为 多 个 工作 项 ， 然 后 对 每 个 工作 项 进行 计数 。 最 后 ， 他 
将 工作 项 的 佑 算 值 累加 起 来 ， 以 获得 测试 任务 的 估算 值 。 这 是 一 种 “分 
而 治之 ”的 策略 ， 将 一 个 大 型 任务 的 估算 转化 为 对 一 组 小 型 任务 的 佑 
算 ， 通 过 提高 局 部 的 准确 性 来 保证 最 终结 果 的 准确 性 。 此 外 ， 累 加 一 组 
估算 值 有 助 于 误 状 补偿 。 当 茶 些 工作 项 的 估算 值 俩 高 ， 妃 一 些 工作 项 的 
估算 值 俩 低 ， 其 累加 值 “抵消 ?了 正 负 误 兰 ， 可 能 更 加 准确 。 


9.3.3 ”历史 数据 是 估算 的 重要 参考 


为 了 较 准 确 地 估算 ， 测 试 人 员 需 要 寻找 与 任务 工作 量 相关 的 计数 对 象 。 
如 果 存 在 与 计数 对 象 相关 的 历史 数据 ， 测 试 人 员 就 可 以 方便 地 将 计数 值 
转化 为 估算 值 。 表 9-2 记 录 了 一 些 常 见 的 估算 对 象 和 它们 的 历史 数据 。 


根据 历史 数据 ， 测 试 人 员 可 以 较 方便 地 估算 出 一 项 任务 所 需 的 时 间 。 以 
自动 化 测试 结果 调查 为 例 ， 假 设 自 动 化 测试 集合 包含 2000 个 用 例 ， 测 试 
失败 率 大 约 是 2%， 调 查 一 个 失败 的 测试 用 例 平均 是 15 分 钟 ， 那 么 一 轮 
自动 化 测试 调查 需要 2000x0.02x15 二 600 分 钟 (10 小 时 ) 。 如 果 测 试 小 
组 安排 4 个 人 共同 调查 ， 平 均 每 个 人 需要 花费 2.5 小 时 。 


表 9-2 将 计数 值 转化 为 估算 值 的 历史 数据 




















把 计数 值 转化 为 估算 值 的 历史 数据 











e 一 个 功能 或 特性 的 平均 测试 时 间 。 
陷 数 。 


。 每 干 行 代码 的 平均 缺陷 数 

功能 测试 |o 缺陷 被 解决 为 修复 的 概率 。 
。 对 一 个 缺陷 修复 进行 测试 的 平均 用 时 。 
。 一 个 缺陷 修复 引入 新 缺陷 的 概率 

















o 一 轮 性 能 测试 需要 考察 的 情景 的 数目 。 
性 能 测试 o 录制 和 调试 一 个 情景 也 
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平均 用 时 。 


景 以 收集 性 能 数据 的 平均 用 时 。 
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写 性 能 测试 报告 的 平均 用 时 


© 测试 一 个 存储 过 程 的 平均 用 时 。 
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数据 库 测试 |S 测试 一 
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一 个 函数 的 平均 月 
个 视图 的 平均 月 
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日 时 。 


e 测试 一 个 表 的 平均 用 时 


e 测试 一 个 报表 页 面 《 
网 页 测试 E 
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e 测试 一 只 包含 静态 文字 、 图 片 、 超 链接 ) 的 平均 用 
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个 只 读 页 


回归 测试 的 平均 月 








HEF 


回归 测试 所 提交 的 平均 缺陷 个 数 。 
回归 测试 © 缺陷 被 解决 为 修复 的 概率 。 





e 对 一 个 缺陷 修复 进行 测试 的 平均 用 时 。 
e 一 个 缺陷 修复 引入 新 缺陷 的 概率 


e 测试 实验 室 


运行 自动 化 测试 集合 的 平均 用 时 。 





运行 自动 化 测 |e 自动 化 测试 集合 包含 多 少 个 测试 用 例 。 
i e 测试 用 例 失败 的 概率 。 
e 调查 一 个 失败 的 测试 月 





昌 例 的 平均 用 时 




















o 对 于 一 个 被 测 函 数 ， 平 均 编写 的 测试 用 例 个 数 。 
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e 对 测试 代码 进行 代码 审 


e 配置 一 
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个 测试 用 例 的 平均 用 时 。 
周 试 一 个 测试 用 例 的 平均 用 时 。 

















测试 环境 搭建 ”|e 安装 被 测 产 品 的 平均 有 
o 配置 被 测 产 品 的 平均 月 











查 的 平均 用 时 


台 测 试 计算 机 的 平均 用 时 。 
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一 般 而 言 ， 测 试 人 员 应 该 尽量 自动 地 获得 历史 数据 。 许 多 团队 用 数据 库 
存储 缺陷 报 各 Bo a 用 例 所 属 
的 测试 集合 自动 化 测试 的 结果 ， 这 为 数据 分 析 提 供 了 便利 。 测 试 
ee 汰 得 历史 数据 。2.3.5 节 建议 





测试 人 员 在 编写 缺陷 报告 时 ， 要 文 持 未 来 的 缺陷 查询 。 这 条 建议 在 本 节 
体现 为 ， 缺 陷 报 告 应 该 文 持 未 来 的 数据 分 析 。 以 回归 测试 为 例 ， 测 试 小 
组 可 以 约定 回归 测试 的 缺陷 报告 的 标题 应 该 以 “[RF]”(Regression 
Failure 的 缩写 ) 为 前 级 。 这 样 ， 代 码 清单 9-1 所 示 的 SQL 查 询 (有关 数据 
表 dbo.Bug 的 定义 请 参考 8.2.1 节 ) 能够 返回 一 轮回 归 测 试 所 发 现 的 缺陷 
个 数 。 这 段 代 码 假 设 一 轮回 归 测 试 只 针对 一 个 固定 的 构建 号 ， 它 沛 选 出 
Title (标题 包含 “[RF]” 的 缺陷 ， 并 用 0penBuild (提交 缺陷 的 构建 
号 ) 对 它们 分 组 ， 从 而 获得 每 个 构建 号 所 拥有 的 回归 缺陷 的 数目 。 利 用 
该 信息 ， 测 试 人 员 很 容易 计算 出 一 轮回 归 测 试 所 提交 的 平均 缺陷 个 数 。 


代码 清单 9-1 ”统计 每 一 轮回 归 测 试 发 现 的 缺陷 





SELECT 
OpenBuild, COUNT(*) AS OpenCount 
FROM dbo.Bug 
WHERE OpenDate > DATEADD(dd, -3@, GETDATE()) 


AND CHARINDEX('[RF]', Title) = 1 
GROUP BY OpenBuild 








因为 部 分 项 目 数据 并 没有 被 自动 地 记录 ， 所 以 测试 人 员 有 时 要 做 一 些 数 
据 采 集 。 他 可 以 参考 3.2.13 节 介绍 的 基于 测 程 的 测试 管理 CSBTM) ， 
用 测 程 来 组 织 具 体 的 测试 活动 。 标 准 的 SBTM 建 议 测 试 人 员 记 录 测 试 活 
动 的 时 间 分 配 ， 即 在 产品 安装 、 测 试 设 计 与 执行 、 缺 陷 调 查 和 报告 、 非 
ee 
和 支持。 


此 外 ， 好 的 测 程 拥 有 明确 的 主题 ， 这 意味 着 它 通常 针对 一 组 具体 的 测试 
对 象 。 在 一 个 测 程 结 束 后 ， 测 试 人 员 只 需 进 行 简单 的 回顾 ， 数 一 数 测试 
所 履 盖 的 对 象 ， 束 可 以 获得 有 价值 的 数据 。 例 如 ， 他 分 配 了 一 个 1.5 小 

时 的 测 程 ， 专 门 用 于 目 动 化 测试 的 失败 调查 。 在 测 程 结 束 后 ， 他 统计 一 
共 调 查 了 多 少 个 失败 用 例 ， 然 后 计算 出 失败 用 例 调查 的 平均 用 时 。 又 例 
如 ， 他 分 配 了 一 个 2 小 时 的 测 程 来 测试 Web 页 面 。 在 测 程 结束 后 ， 他 统 

计 一 共 测 试 了 多 少 个 报表 页 面 、 表 单 页 面 和 只 读 页 面 ， 从 而 计算 出 测试 
每 种 页 面 的 平均 时 间 。 














Steven McConnell 建 议 开 发 人 员 从 四 类 数据 开始 收集 : 规模 (代码 行 或 
软件 中 可 计数 的 对 象 ) 、 工 作 量 〈 工 作 时 间 ) 、 时 间 (日 历时 间 〉 . oR 
陷 。 该 建议 也 适用 于 测试 人 员 ， 他 可 以 从 很 少 一 组 数据 开始 积累 ， 用 少 
量 的 时 间 去 聚焦 基础 性 的 信息 。 在 此 基础 上 ， 他 应 该 利用 测试 欠 代 来 周 
eet arn eer a 
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93.4 同时 估算 最 差 情 况 和 最 好 情况 


在 估算 时 ， 一 个 很 有 帮助 的 技巧 是 同时 分 析 最 差 情 况 和 最 好 情况 的 估算 
值 。 如 采 只 给 出 一 个 估算 值 〈 称 为 " 单 点 估算 ?) > MAA A E T 
给 出 一 个 乐观 值 。 为 了 避免 过 于 乐观 的 估算 ， 测 试 人 员 应 该 强迫 自己 思 
E E 




















。 当 思 考 最 坏 情 况 时 ， 测 试 人 员 会 更 发 散 地 思考 。 他 会 挖掘 出 一 些 被 
乐观 思考 忽略 的 因素 ， 想 出 一 些 不 常见 、 但 可 能 发 生 的 不 利 情况 。 
在 茶 种 程度 上 ， 慕 观 思考 帮助 测试 人 员 更 好 地 理解 任务 和 语 境 ， 甚 
至 让 他 更 准确 地 评估 最 好 情况 。 


估算 只 是 一 种 预测 ， 其 结果 不 可 能 做 到 百 分 百 准确 。 此 外 ， 工 作 能 
人 否 按 期 完成 ， 不 仅仅 取决 于 恰当 的 估算 ， 还 依赖 于 有 力 的 执行 、 无 
干扰 的 工作 和 关系 人 的 支持 ， 其 中 一 些 因 素 非 测试 人 员 可 以 控制 。 
单 点 估算 不 能 上 自然 地 反映 出 项 目 发 展 的 不 确定 性 ， 给 人 一 种 “到 那 
时 一 定 可 以 完成 ?的 约 沉 。 如 宁 佑 算 结 果 是 一 个 时 间 区 间 ， 那 它 能 
直观 地 表达 出 软件 项 目 无 法 忽视 的 高 度 变 动 性 。 


即便 测试 人 员 需 要 提供 单 点 估算 ， 他 也 可 以 先 估算 最 好 情况 和 最 差 
情况 。 这 让 他 更 全 面 地 分 析 项 目 环境 ， 从 而 在 这 两 点 之 间 选 择 一 个 
合理 的 值 。 在 统计 上 ， 任 务 以 最 好 情况 或 最 差 情况 完成 的 概率 是 很 
低 的 ， 最 终 的 估算 值 应 该 拥有 更 高 的 完成 概率 。 更 详细 的 讨论 请 参 
考 Steve McConnell 和 Tom DeMarco 等 专家 的 著作 [McConnell06] 
[DeMarco03]。 


男 一 个 提高 估算 能 力 的 方法 是 经 常 比较 任务 的 估算 时 间 和 实际 完成 时 
间 。 基 本 策略 是 建立 基于 实际 值 的 反馈 机 制 ， 以 逐渐 提高 估算 的 准确 
度 。 为 此 ， 测 试 人 员 可 以 在 每 个 测试 周期 结束 时 ， 研 究 那些 估算 值 与 实 
际 值 相差 较 大 的 案例 ， 调 查 其 中 的 原因 ， 从 而 提出 相应 的 估算 改进 方 


























案 。 利 用 快速 的 反馈 。 他 可 以 更 快 地 提高 其 估算 能 
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在 日 党 工作 中 ， 测 试 人 员 会 主动 用 一 些 定量 的 方法 来 分 析 软 件 和 项 目 
(例如 7.1.1 节 、8.2.1 节 、8.2.2 节 、8.2.4 节 讨论 了 一 些 度量 方法 ) 以 获得 
测试 想法 ， 也 会 被 要 求 提供 一 些 数值 以 反应 项 目 进 展 。 为 了 更 好 地 完成 
这 些 任务 ， 本 节 讨 论 一些 软 件 度量 的 基本 原则 和 方法 。 


9.4.1 理解 上 度量 方法 的 基本 元 素 


有 效 运用 一 种 度量 方法 的 前 提 是 透彻 地 理解 它 。Cem Kaner 教 授 提 出 了 
一 个 评估 度量 方法 的 框架 [Kaner00]， 其 核心 元 素 如 下 。 


。 意图 : 为 什么 项 目 团队 或 测试 人 员 需 要 使 用 这 种 度量 方法 ? 其 度量 
结果 有 何 用 途 ? 


。 属性 : 度量 方法 总 是 针对 项 目 元 素 的 菜 个 特性 ， 反 应 被 调查 对 象 在 
这 个 方面 的 表现 。 


。 算法 : 定量 评 佑 属性 的 方法 。 


。 属性 与 算法 的 联系 : 一 组 理论 或 假设 ， 以 说 明 使 用 该 算法 来 评估 属 
性 是 合理 的 。 联 系 通常 决定 了 算法 的 适用 范围 、 优 点 和 缺点 。 


。 可 能 的 副作用 : 误 用 度量 方法 带 来 的 不 利 影响 。 许 多 时 候 ， 团 队 成 
员 会 不 目 觉 地 “优化 ”度量 结果 ， 使 其 满足 管理 层 的 要 求 。 这 样 做 可 
能 会 导致 一 些 负面 结 

在 实施 特定 的 度量 方法 时 ， 测 试 人 员 需 要 仔细 考虑 它 的 意图 、 属 性 、 算 
法 、 联 系 和 副作用 。 在 8.2.2 节 ， 代 码 清单 8-7 展 示 了 一 种 评估 C# 代 码 复 
杂 性 的 度量 方法 ， 其 定义 是 : 文件 的 复杂 度 = 文件 中 分 文 与 循环 关键 
字 的 个 数 (文件 的 行 数 +1) 。 表 9-3 总 结 了 该 方法 的 基本 元 素 。 


表 9-3 文件 复杂 上 度 的 基本 元 素 























测试 人 员 和 尝试 发 现 复 杂 度 最 高 的 一 批 代码 文件 ， 将 它们 作为 候选 阅读 对 象 。 其 背 
后 的 动机 如 下 。 

















意 | @ 程序 员 在 编写 或 修改 复杂 代码 时 ， 更 容易 出 错 。 因 此 ， 复 杂 代 码 包 含 更 多 的 缺 

















。 让 类 代码 不 容易 测试 需要 重点 研究 。 
o 了 解 复杂 代码 所 涉及 的 功能 ， 能 够 更 好 地 理 角 
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i ane nt ce ae alsa 行 代码 中 出 现 的 概率 。 甚 背后 的 假设 
关 | 如 下 

e 分 文 和 循环 可 能 带 来 复杂 的 执行 路 径 ， 复 杂 的 执行 路 径 会 导致 理解 困难 。 

e 分 文 和 循环 越 密 集 《〈“ 出 现 概 率 越 高 ) ， 代 码 就 越 复杂 









































作为 代码 阅读 的 辅助 工具 ， 该 度量 方法 并 不 造成 严重 的 项 目 风险 ， 毕 竟 决 定 代码 
阅读 质量 的 是 测试 人 员 的 技术 能 力 和 投入 时 间 。 不 过 ， 测 试 人 员 仍 旧 需 要 知晓 该 














方法 的 不 足 : 代码 复杂 性 是 由 多 个 因素 决定 的 ， 该 算法 仅 考虑 了 复杂 性 的 一 个 方 
面 ， 并 不 能 全 面 地 评估 复杂 性 。 
o 在 分 支 与 循环 关键 字 个 数 相同 的 情况 下 ， 深 度 联 套 的 分 支 与 循环 通常 更 加 复 
杂 。 但 是 ， 该 算法 不 分 析 舱 套 深 度 ， 不 能 为 深度 众 套 的 代码 提供 更 高 的 复杂 度 。 
o 在 C# 语 言 中 ， 一 些 LINQ 操 作 入 村 提供 了 类 似 分 支 的 筛选 能 力 和 类 似 循环 的 迭代 
。 但 是 ， 该 算法 没有 统计 LINQ 操 作 符 ， 不 能 完整 地 提供 此 类 代码 的 复杂 


e 在 C# 语 言 中 ， 有 多 种 根据 程序 状态 选择 执行 路 径 的 方法 ， 例 如 虚 函 数 、 反 射 、 
动态 代码 (通常 由 dynamic 关 键 字 引入 ) 等 。 但 是 ， 该 算法 没有 考虑 这 些 情况 。 
e 一 般 认 为 异常 处 理 代码 比较 复杂 ， 较 容易 出 错 。 但 是 ， 该 算法 没有 考虑 异常 处 
理 























































































































结合 度量 的 基本 元 素 ， 可 以 获得 运用 度量 方法 的 基本 注意 点 。 以 下 几 个 
小 节 将 逐一 论述 这 些 要 点 。 


9.4.2 ”明确 度量 的 目标 


度量 的 目的 是 为 项 目 决 集 提供 信息 ， 是 为 了 更 合理 的 行动 。 因 此 ， 测 试 
人 员 需 要 了 解 度量 的 用 途 ， 知 道 它 所 服务 的 目标 。 然 而 ， 在 项 目 压 力 

下 ， 测 试 人 员 有 时 会 态 记 上 度量 背后 的 目标 ，》 只 是 机 械 性 地 提供 度量 信 ， 
或 让 自己 的 工作 符合 预 设 的 度量 值 。 这 样 做 无 助 于 提高 产品 质量 ， 且 表 
失 了 一 些 改进 开发 过 程 的 机 会 。 下 面 是 一 个 真实 的 案例 。 


在 某 个 项 目 中 ， 代 码 轿 盖 率 是 一 条 产品 发 布 标准 ， 它 要 求 测试 的 语 
句 块 履 羡 率 达 到 70%。 在 发 布 前 夕 ， 测 试 人 员 Kyle 正 在 为 测试 履 盖 
率 “ 达 标 ? 而 努力 奋斗 。 那 是 一 个 比较 大 的 C++ 程序 ， 其 中 有 一 些 代 
码 ， 利 用 端 到 端的 系统 测试 很 难 镍 兰 。 于 是 ，Kyle 创 造 性 地 使 用 调 
ALA Windbe ok jts mK. 他 将 Windbg 附加 到 被 测 程序 上 ， 然 






































后 利用 调试 器 指令 ， 手 工 改变 程序 的 执行 路 径 ， 以 快速 敌 盖 任何 他 
希望 履 盖 的 代码 。 不 季 的 是 ， 有 一 块 代码 在 入 口 处 就 朋 涡 了。 虽然 
该 异常 被 Windbg 捕 获 ， 但 是 程序 无 法 继续 执行 。 在 试 了 几 次 之 
后 ， 他 把 程序 员 叫 了 过 来 ， 问 道 :“ 程 序 在 这 里 月 尝 了， 如 何 绕 过 
去 继续 执行 ? ”程序 员 大 驴 :“ 你 难道 不 研究 一 下 它 为 什么 朋 演 
A? ”Kyle 怒 斥 之 :“ 别 说 这 些 没 用 的 ， 干 正事 要 紧 ! ” 


这 个 故事 是 当 事 程 友 员 亲口 说 给 我 昕 的 。 写 在 这 里 不 是 指 贡 Kyle 对 
程序 般 温 不 闻 不 问 。 恰 恰 相 反 ， 我 认为 Kyle 的 举措 具有 相当 的 合理 
性 。 第 一 ， 利 用 Windbg 修 改 执行 路 径 ， 已 经 扰乱 了 程序 状态 。 即 
便 程序 朋 沉 ， 也 很 难 认定 这 是 一 个 缺陷 。 第 二 ， 册 尝 发 生 在 一 段 很 
难 被 执行 到 的 代码 中 。 即 便 是 程序 缺陷 ， 也 不 会 引入 显著 的 风险 。 
第 三 ， 项 目 临近 结束 ， 还 有 许多 高 优先 级 的 测试 工作 。 结 束 手 上 的 
Ge oe eee ee oe ee ee 
和 策略 。 


为 了 正确 地 使 用 代码 窗 盖 率 上 度量 ， 或 者 说 为 了 让 投入 在 代码 窗 冀 率 上 的 
时 间 获 得 丰厚 的 回报 ， 测 试 人 员 必 须 理 解 评估 代码 履 盖 率 的 目的 。 正 如 
测试 是 对 代码 的 反馈 代码 宪 盖 率 是 对 测试 的 有 反馈。 获取 代码 窗 蓄 率 ， 
不 是 要 证 明 测试 的 充分 性 ， 而 是 要 肥 现 测试 的 遗漏 ， 从 而 补充 测试 用 

例 ， 以 发 现 隐 藏 的 缺陷 。 所 以 ， 代 码 履 六 率 是 一 种 寻找 缺陷 的 拉 术 ， 是 
提高 测试 的 手段 ， 不 是 测试 的 目的 。 只 收集 代码 覆盖 率 ， 却 不 利用 它 去 
发 现 更 多 的 缺陷 ， 是 误 入 卜 途 。 


然而 ， 在 项 目 结束 前 ， 测 试 人 员 往 往 有 许多 缺陷 要 做 回归 测试 ， 要 分 析 
压力 和 性 能 测试 的 结果 ， 要 与 其 他 团队 配合 进行 跨 系 统 的 集成 测试 。 在 
这 种 情况 下 ， 他 们 没有 充足 的 时 间 来 阅读 代码 、 调 碍 代码 履 盖 情况 。 此 
时 的 代码 颖 凋 率 统计 只 是 一 项 必须 完成 的 任务 ， 难 以 给 项 目 融 来 明显 的 
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测试 人 员 应 该 从 项 目 早期 就 开始 理解 代码 ， 并 逐步 增加 测试 用 例 。 
随 着 项 目的 展开 ， 他 需要 知晓 代码 的 变化 和 测试 的 不 足 ， 这 时 代码 
覆盖 率 能 提供 有 帮助 的 信息 。 为 此 ， 他 需要 持续 统计 代码 履 盖 率 ， 
并 用 它 来 改进 测试 。 以 下 是 三 种 可 能 的 做 法 。 


第 一 ， 每 日 构建 生成 产品 的 发 布 版 、 调 试 版 和 上 履 兰 版 ， 使 得 自动 化 















































测试 可 以 提供 最 新 的 覆盖 率 结果 。 通 常 履 羡 版 都 是 对 调试 版 进行 代 
码 揪 桩 所 得 ， 行 为 与 调试 版 一 致 。 除 了 一 些 性 能 敏感 的 测试 用 例 ， 
其 他 测试 用 例 都 可 以 在 履 兰 版 上 执行 ， 以 获得 大 部 分 训 试 用 例 的 才 
六 率 。 在 我 的 部 门 ， 有 一 个 项 目 组 就 是 这 么 做 的 。 他 们 的 每 日 测试 
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率 的 关键 不 是 工具 ， 而 是 对 代码 的 理解 。 


由 以 上 案例 不 难看 出 ， 测 试 人 员 需 要 探 完 度 量 方法 背后 的 目标 。 唯 有 如 
此 ， 他 才能 在 恰当 的 时 机 ， 以 恰当 的 方式 来 实施 上 度量， 并 实现 目标 。 忽 
人 发 过 
程 的 质量 。 


在 理解 目标 之 后 ， 测 试 人 员 可 以 更 好 地 实施 度量 ， 让 度量 成 为 软件 开发 
的 助手 。 下 面 是 一 个 真实 的 案例 。 


有 一 次 ， 我 接 到 一 个 测试 任务 ， 去 测试 一 个 Web 服务。 这 个 Web 服 
务 用 C# 实 现 ， 它 接受 外 部 调用 ， 根 据 输入 值 更 新 后 合 数据 库 的 数 
据 。 这 和 古 一 个 小 项 目 ， 核 心 馆 辑 大 约 在 千 行 上 下 。 我 接手 的 时 候 ， 
代码 已 经 写 完 。 开 发 者 有 简单 的 测试 ， 他 提供 了 5 条 病 到 端 目 动 化 
测试 用 例 供 我 参考 ，。 


当时 ， 我 最 头痛 的 是 不 知道 该 Web 服 务 的 业务 逻辑 和 实现 逻辑 。 在 
仔细 地 阅读 了 规格 说 明和 几 封 很 长 的 讨论 邮件 之 后 ， 大 致知 晓 了 项 
目 背 景 ， 但 是 仍旧 不 了 解 实现 人 逻辑， 也 不 知道 什么 行为 是 可 以 接受 
的 、 什 么 行为 是 错误 的 。 由 于 开发 者 与 我 有 16 个 小 时 的 时 差 ， 不 能 
随时 和 他 联系 ， 很 多 问题 得 不 到 及 时 的 解答 ， 测 试 很 难 展开 。 


为 了 有 上 所 突破 ， 我 开始 阅读 实现 代码 。 我 的 方法 是 ， 在 编程 工具 
Visual Studio 中 单 步 执行 开发 者 的 测 斌 用例， 观察 程序 中 变量 值 的 






































变化 和 数据 库 中 数据 的 改变 。 有 了 初步 的 认 知 ， 我 开始 增加 测试 用 
例 。 大 部 分 测试 用 例 都 是 一 个 模式 。 


步骤 1: 恢复 被 测 Web 服 务 的 数据 库 到 初始 状态 。 


步骤 2: 调用 Web 服 务 。Web 服 务 是 无 状态 的 ， 但 是 它 会 改变 数据 
库 中 的 数据 。 


步骤 3: 对 数据 库 中 的 数据 进行 一 致 性 检查 。 我 花 了 许多 时 间 编 写 
并 增强 检查 代码 ， 人 整个 测试 开发 过 程 是 渐进 的 。 


步骤 4: 执行 当前 测试 所 特有 的 检 枉 。 


设计 完 一 个 测试 用 例 ， 我 就 在 Visual Studio 中 单 步 执行 它 ， 从 而 更 
深入 地 了 解 实现 逻辑 。 在 阅读 、 执 行 代 码 的 过 程 中 ， 我 发 现 了 一 些 
潜在 的 问题 。 这 时 ， 我 会 增加 一 个 测试 用 例 去 “证 明 ” 当 前 问题 可 以 
导致 产品 的 失败 。 随 着 测试 用 例 越 来 越 多 ， 我 对 代码 的 理解 也 越 
深 ， 发 现 的 缺陷 也 越 多 。 后 来 ， 缺 陷 不 那么 好 找 了 ， 我 就 仔细 地 读 
代码 ， 特 别 是 那些 没有 被 测试 覆盖 过 的 代码 。 然 后 ， 便 增加 测试 用 
例 去 尽 可 能 地 提高 测试 用 例 的 覆盖 率 。 当 时 的 策略 是 ， 测 试用 例 集 
要 尺 可 能 地 覆 竟 所 有 的 代码 块 ， 它 还 要 覆盖 主要 的 数据 状态 和 我 觉 
得 有 风险 的 数据 变更 。 


在 项 目 结束 的 时 候 ， 我 对 测试 的 代码 履 兰 率 很 有 目 信 。 只 有 三 个 
在 catch 语句 中 的 代码 块 没 有 被 窗 盖 ， 它 们 在 产品 环境 中 被 执行 的 
概率 非常 低 。 而 且 我 仔细 阅读 过 代码 ， 它 们 即便 被 执行 也 不 会 导致 
失败 。 实 际 上 ， 我 比较 担心 的 是 测试 没有 履 凋 一 些 复 洒 的 数据 转 
换 。 昌 然 我 在 不 停 地 补充 此 类 测试 用 例 ， 但 是 这 个 项 目的 测试 周期 
较 短 ， 测 试用 例 能 够 履 瘟 的 程序 状态 空间 还 是 侦 少 。 庆 笠 的 是 ， 产 
品 上 线 后 运行 民 好 ， 没 有 发 现 问 题 。 


回顾 这 个 项 目 ， 我 觉得 有 两 点 经 验 可 以 吸取 。 


第 一 ， 人 的 大 脑 才 是 最 好 的 代码 窗 六 率 工具 。 代 人 码 窗 盖 京 工具 能 提 
供 大 量 的 信息 。 只 有 在 充分 理解 代码 与 测试 的 前 提 下 ， 这 些 信息 才 
能 得 到 有 效 的 利用 。 这 个 项 目的 代码 规模 较 少 ， 因 此 我 没有 使 用 代 
人 码 履 话 率 工具 。 通 过 反复 阅读 代码 、 调 试 代码 ， 我 收集 了 代码 窗 盖 
率 信息 ， 并 利用 这 些 信息 改进 了 测试 。 可 以 次， 代码 履 兰 率 是 随 痢 












































对 代码 不 断 的 探索 而 自然 提高 的 。 对 于 大 型 项 目 ， 合 理 的 利用 代码 
履 盖 率 工 具 上 自然 是 大 有 神 蔓 的 。 在 这 一 过 程 中 ， 阅 读 、 理 解 、 探 索 
代码 仍旧 是 指导 测试 的 核心 活动 。 


第 二 ， 代 码 履 盖 率 只 提供 了 程序 结构 被 禾 盖 的 信息 ， 测 试 人 员 还 需 
要 关注 程序 状态 是 否 补 有 效 地 和 窗 盖 。 在 本 项 目 中 ， 程 序 的 状态 可 以 
视 为 数据 库 中 的 数据 值 。Web 服 务 能 人 否 完成 很 多 时 候 取决 于 初始 数 
据 值 是 否 有 效 、 目 标 数据 值 是 否 可 以 接受 。 相 同 的 执行 路 径 对 于 不 
同 的 数据 会 产生 完全 不 同 的 结果 。 如 果 仅 仅 关 注 程序 结构 ， 很 可 能 
会 漏 挥 一 些 由 程序 状态 引 友 的 问题 。 


9.4.3 ”掌握 属性 和 算法 的 联系 

在 常用 软件 度量 中 ， 大 部 分 属性 是 很 难 直 接 评 估 的 ， 上 度量 方 法 都 是 在 统 
计 蔡 代 对 象 的 情况 。 也 束 是 说 ， 度 量 方法 本 质 上 并 没有 直接 评估 属性 ， 
而 是 在 提供 其 代 对 象 的 信息 。 基 于 某 种 理论 或 假设 ， 度 量 者 认为 奉 代 对 


象 的 信息 反应 了 属性 的 特征 ， 即 算法 和 属性 间 存 在 合理 的 联系 。 表 9-4 
总 结 了 一 些 常见 度量 的 属性 、 符 代 对 象 和 联系 。 


表 9-4 属性 和 算法 的 联系 
































属性 ee 联系 (算法 所 依赖 的 假设 ) 





。 分支 环 可 能 六 复杂 的 执行 路 位 ， 复 杂 有 扩 
armen, | 行路 径 会 导 至 理解 困难 ， 
PTLD P REESE |。 分支 和 循环 越 密集 ， 代 码 就 越 复杂 。 
e SCRA IW SCAMS AHN 
a 












































样 且 有 威力 的 。 
产品 质 e 测试 人 员 有 充分 的 时 间 和 资源 来 寻找 错误 。 
FHWA | 当前 活跃 的 缺陷 数目 |e 测试 人 员 报告 了 他 们 发 现 的 所 有 缺陷 和 疑虑 。 
= o 缺陷 评审 小 组 认真 地 评审 了 所 有 缺陷 ， 并 制定 了 
正确 的 解决 方法 修复、 不 予 修复 、 延 后 修复 〉。 
o 程序 能 够 正确 地 修复 缺陷 ， 不 引入 更 多 的 修复 。 
o 任何 人 都 遵守 标准 的 缺陷 处 理 流程 ， 不 会 随意 关 




























































































闭 缺 陷 





























a | 区 试 执 行 所 履 盖 的 语 





中 的 BW 
e Wh RWWA BE 
中 的 缺陷 











o 天 部 分 测试 用 例 拥有 相似 的 粒度 和 工作 量 。 
e 大 部 人 测试 用 例 忆 经 记录 在 案 。 本 

Sea Me 。 测试 人 员 不 会 再 记录 更 多 的 测试 用 例 。 这 意 
测试 的 | 数 和 可 经 执行 的 测 | 软件 和 冻结， 软件 设计 不 再 变更 ， 新 的 项 目 风险 
ek FE 、 Bo À ` 会 出 现 。 

试用 例 数目 。 测试 人 员 会 记录 每 个 测试 用 例 的 结 
e 测试 人 员 在 测试 过 程 中 不 设计 新 的 测试 用 例 。 
意味 着 他 不 调查 测试 所 发 现 的 新 情况 



































。 测 试 人 员 的 大 部 分 时 间 都 在 执行 测试 并 报告 缺 
ie SRBC I AT SURAT eo) LT 

Wiz mae 人 局 > |B BEAT UM: 

AM ee adn 
Zi 工作 量 

试 人 员 所 测试 的 模块 拥有 相当 的 缺陷 数量 。 

旺 序 员 向 测试 人 员 提供 了 相同 的 技术 支持 













































































由 表 9-4 可 知 ， 常 见 的 度量 方法 往往 依赖 于 一 组 假设 。 任 何 稍 有 工作 经 
验 的 人 都 可 以 看 出 许多 假设 并 非 总 是 成 芯 。 这 意味 着 度量 值 所 提供 的 信 
忌 往 往 是 有 偏差 的 ， 是 不 符合 真实 情况 的 。 而 且 ， 上 度量 值 遂 第 是 对 复杂 
属性 的 简单 评估 ， 即 便 有 “一 叶 知 秋 ” 的 潜力 ， 也 难免 < 一 叶 障 目 * 的 风 

险 。 所 以 ， 有 经 验 的 测试 人 员 只 把 度量 方法 当做 技术 调查 的 一 种 工具 ， 
用 筷 们 来 获得 深入 研究 的 线索 ， 而 非 提 供 最 终 答案 。 


因为 度量 结果 总 是 有 仿 差 的 、 片 面 的 ， 所 以 仅 任 便 数 字 束 作出 项 目 决策 
古 危 险 的 。 为 了 获得 全 面 认识 ， 测 试 人 员 会 使 用 多 个 度量 方法 从 不 同和 角 
度 评 佑 属性 ， 并 交叉 比 对 度量 值 。 他 会 进一步 直接 研究 调查 对 象 ， 获 得 
第 一 手 资 料 。 以 下 是 一 些 例 子 。 


。 当 测 试 人 员 分 析 代 码 复杂 性 时 ， 他 会 仔细 阅读 复杂 度 较 高 的 代码 ， 
分 析 它 们 为 什么 拥有 较 高 的 度量 值 。 更 重要 的 是 ， 他 会 针对 代码 的 






































特点 构思 相应 的 测试 想法 。 


当 测 试 人 员 分 析 测 试 活动 的 质量 时 ， 他 会 从 多 个 方面 考察 测试 履 意 
的 情况 : 结构、 功能、 数据、 接口、 平台 、 操 作 、 时 间 等 〈 人 参见 
2.2.27) 。 基 于 调查 结果 ， 他 会 补充 设计 测试 用 例 ， 以 弥补 测试 履 
itt AURA o 


当 测试 经 理 评估 测试 进度 时 ， 他 会 在 多 个 维度 上 分 析 已 经 完成 的 测 
试 工作 ， 缺 陷 、 需 求 、 代 码 、 配 置 、 变 更 历史 、 程 序 员 、 测 试 人 
员 、 数 据 等 。 任 何 单一 的 度量 方法 都 是 不 够 的 ， 且 常常 产生 误导 。 


当 产 品 经 理 需 要 了 解 产 品质 量 时 ， 他 会 用 “卖点 漫游 ?去 考察 产品 最 
其 价值 的 情景 ， 并 用 真实 的 任务 来 考验 它 的 表现 。 此 外 ， 他 会 和 测 
试 人 员 交 谈 ， 了 解 他 们 发 现 的 问题 ， 倾 昕 他 们 对 项 目 风 险 和 产品 缺 
点 的 担忧 。 他 还 会 和 程序 员 交 流 ， 了 解 他 们 所 面临 的 困难 和 需要 完 
成 的 任务 。 在 很 多 时 候 ， 询 问 团 队 成 员 对 项 目 和 产品 的 "感觉 >， 能 
够 获得 许多 有 价值 的 信息 。 


当 测 试 经 理想 要 了 解 下 属 的 工作 情况 时 ， 他 会 阅读 测试 人 员 提 交 的 
缺陷 报告 ， 以 了 解 他 的 测试 方法 、 诊 断 问题 的 技巧 、 书 写 报告 的 严 
说 程度 。 然 后 ， 他 会 与 测试 人 员 和 面谈， 知晓 他 面 对 的 具体 问题 ， 以 
及 他 所 采取 的 解决 方案 。 


当 测 试 人 员 获 得 度量 值 之 后 ， 他 需要 自问 : 这 些 度 量 值 该 作 何 解 释 ? 如 
何 解释 度量 算法 与 属性 的 联系 ? 如 何 解 释 上 度量 算法 的 合理 性 ? 我 需要 具 
体 调 查 哪些 对 象 来 获得 解释 ? 为 什么 度量 值 如 此 之 低 《〈 或 如 此 之 高 ) ? 
它们 反应 了 什么 情况 ? 针对 这 些 情况 ， 我 应 该 采取 何 种 行动 ?这 些 问 题 
将 驱动 他 做 一 些 后 续 研 究 ， 获 得 更 全 面 的 理解 。 


当 测 试 人 员 回 管理 层 提 交 上 度量 值 之 前 ， 他 必须 能 够 清晰 地 解释 度量 值 的 
含义 ， 并 用 具体 的 案例 来 支持 自己 的 观点 。 如 果 某 个 度量 值 引起 了 项 目 
领导 的 兴趣 ， 他 会 同 测试 人 员 询 问 相 关 情 况 。 如 果 测 试 人 员 不 能 解释 自 
己 给 出 的 数值 ， 他 的 专业 水 平 会 受到 质疑 ， 而 职业 的 测试 人 员 能 够 阐述 
度量 值 所 反应 的 情况 ， 给 出 详细 的 案例 说 明 ， 并 提出 自己 的 建议 。 


9.4.4 理解 度量 方法 的 优点 和 缺点 
在 掌握 了 属性 和 算法 的 联系 后 ， 测 试 人 员 震 要 理解 度量 方法 的 优点 和 缺 
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例如 ， 语 句 履 盖 京 是 第 用 的 测试 宪 盖 率 度 量 方法 ， 它 拥有 如 下 优 


。 粒度 适中 。 从 编译 器 的 角度 ， 程 序 设 计 语言 的 基本 构建 块 是 常量 、 


标识 符 和 运算 符 ， 它 们 构成 了 表达 式 ， 表 达 式 构成 了 语句 ， 语 句 构 
成 了 更 复杂 的 函数 和 类 。 虽 然 语句 并 不 是 语法 分 析 的 最 小 元 素 ， 但 
古 它 仍旧 是 编译 需 解 析 代 码 的 基本 元 系 ， 能 够 较 准 确 地 映射 到 编译 
生成 的 机 响 代 码 上 。 以 语句 作为 履 盖 率 分 析 的 目标 ， 能 够 较 细致 地 
DE Are Ud UAT A A ait FL a CAS o 


fal Py TE oT PGE re i S EAS Ao, xe TSB A SE 
KLR. MAA R Hes EL AA E RNS, FREDO TAS 
TE ma BIE BP AE AU A o 


方便 实用 。 目 前 有 许多 成 熟 的 工具 可 以 评估 测试 执行 的 语句 覆盖 
率 ， 并 生成 精美 易 读 的 报告 。 测 试 人 员 只 需 付 出 很 少 的 精力 去 配置 
工具 ， 束 能 够 获得 测试 执行 的 语句 履 兽 紊 ， 为 产生 更 多 的 测试 想法 


提供 信息 。 























与 此 同时 ， 语 句 履 荔 率 也 具有 一 些 不 可 忽视 的 不 足 。 





编译 器 通常 将 程序 设计 语言 的 一 条 语句 翻译 为 多 条 机 器 指令 。 有 
时 ， 某 条 语句 被 测试 覆盖 并 不 意味 着 所 有 的 机 器 指令 被 测试 覆 兰 。 
例如 ， 语 句 bool x = condition1() && condition2(); 对 两 
个 函数 的 返回 值 实施 与 运算 。 如 果 函 数 condition1 返回 false ， 
那么 与 运算 符 && 不 会 调用 函数 condition2 ， 它 会 立即 给 出 计算 结 
果 false 。 有 些 履 盖 率 工具 不 能 标记 出 condition2 没有 被 执行 ， 
它们 会 笼统 地 记录 语句 bool x = condition1() && 
condition2(); 被 测试 覆盖 。 可 见 ， 虽 然 语句 履 盖 是 一 种 基于 结 
构 的 覆盖 ， 统 计 语 句 履 盖 率 的 工具 可 能 会 漏 掉 一 些 程序 结构 。 


作为 一 种 基于 结构 的 履 盖 方法 ， 语 句 履 盖 率 不 能 发 现 那些 应 该 被 实 
现 但 是 没有 被 实现 的 代码 。 许 多 缺陷 的 根源 是 程序 员 没 有 为 特殊 情 
况 或 异常 情况 编写 处 理 代 码 ， 语 句 履 盖 率 对 发 现 此 类 错误 没有 帮 

助 。 此 外 ， 另 一 些 缺 陷 的 原因 是 代码 不 能 合理 地 处 理 输入 数据 或 程 
序 状 态 ， 语 句 履 盖 对 发 现 此 类 数据 与 状态 也 没有 帮助 。 这 意味 着 ， 
100% 的 语句 有 覆盖 并 不 能 保证 程序 经 受 了 足够 的 测试 。 



































。 测试 人 员 需 要 考虑 结构 、 功 能 、 数 据 、 接 口 、 平 台 、 操 作 、 时 间 等 
im. WRIA RR RET I A i CA te) ， 那 么 他 
会 错失 许多 有 价值 的 测试 想法 ， 从 而 遗漏 一 些 严重 的 缺陷 。 


严格 地 说 ， 任 何 度 量 方法 都 是 对 属性 的 简化 ， 其 结果 都 丢失 了 属性 的 一 
些 重要 信息 。 因 此 ， 测 试 人 员 必 须 营 握 方 法 的 不 足 ， 唯 有 如 此 他 才能 在 
恰当 的 范围 中 运用 方法 ， 并 规避 潜在 的 问题 。 


9.4.5 ”密切 关注 度量 的 副作用 


在 许多 项 目 中 ， 项 目 管理 者 尝试 用 度量 值 来 推动 项 目 发 展 ， 并 激励 项 目 
人 员 在 相关 方面 做 得 更 好 。 这 种 良好 的 意图 可 能 导致 意料 之 外 的 副 作 

用 。 当 员工 意识 到 管理 层 在 强制 要 求 度量 值 到 达 茶 种 水 平时 ， 他 们 会 改 
变 目 己 的 行为 ， 使 得 度量 值 更 “好 看 ”， 而 不 是 让 产品 变 得 更 好 。 恰 如 前 
两 节 所 讨论 的 ， 上 度量 值 只 有 在 特定 假设 成 立时 才能 反应 部 分 的 真实 情 

况 ， 而 强制 追求 度量 值 的 压力 会 破坏 有 效 度量 的 前 提 ， 使 得 员工 不 能 正 
常 工作 ， 领 导 不 能 获得 真实 的 信息 。 


许多 团队 会 用 缺陷 数目 来 评估 产品 质量 。 由 表 9-4 可 知 ， 该 度量 方法 的 
有 效 性 依赖 于 一 系列 前 提 条 件 。 不 洱 的 是 ， 这 些 前 提 很 容易 被 破坏 。 
9.1.2 市 提 到 了 一 个 真实 的 案例 ， 在 产品 发 布 前 夕 ， 项 目的 管理 者 制定 了 
一 条 规则 : 任何 一 个 新 缺陷 必须 在 24 小 时 内 解决 。 他 们 期 望 程序 员 和 测 
试 人 员 可 以 通力 合作 ， 让 产品 代码 能 够 快速 稳定 下 来 。 然 而 ， 这 条 基于 
缺陷 数目 的 规则 导致 了 一 些 不 民 副 作用 。 以 下 是 对 当时 情况 的 摘 述 。 


对 于 一 些 复 杂 的 缺陷 没有 人 可 以 承 诡 在 24 小 时 内 完成 修复 和 检 
验 。 但 是 ， 程 序 员 和 测试 人 员 仍 旧 愿 意 修 复 它 们 。 因 为 产品 是 他 们 
的 工作 成 果 ， 体 现 了 他 们 的 价值 ， 所 以 他 们 想 奖 及 所 能 去 提高 其 质 
量 。 不 竺 的 是 ， 缺 陷 评 审 小 组 会 因为 缺陷 无 法 在 24 小 时 内 修复 ， 将 
其 解决 为 “不 子 修 复 ? 或 “延迟 修复 "。 这 挫伤 了 第 一 线 员 工 的 士气 。 


为 了 让 缺陷 得 到 修复 ， 测 试 人 员 在 发 现 缺陷 之 后 ， 并 不 提交 正式 的 
缺陷 报告 ， 而 是 直接 通知 程序 员 ， 让 其 着 手 修复 。 在 程序 员 在 完成 
修复 后 ， 测 试 人 员 才 正式 提交 缺陷 。 也 就 是 说 ， 测 试 人 员 和 程序 员 
达成 了 协议 ， 共 同 开发 出 一 个 秘密 的 开发 流程 。 他 们 一 边 在 维护 管 
理 层 所 希望 的 度量 值 ， 一 边 在 按 自己 的 心愿 来 改进 产品 。 


另 一 种 让 缺陷 得 到 修复 的 办 法 是 只 提交 最 严重 的 缺陷 ， 以 获得 缺陷 



























































评审 小 组 的 修复 许可 。 在 签 入 代码 时 ， 程 序 员 会 同时 签 入 多 个 缺陷 
的 修复 。 也 就 是 说 ， 程 序 员 和 测试 人 员 保存 了 一 份 不 公开 的 缺陷 列 
表 ， 他 们 会 批量 地 编写、 测试 和 签 入 修复 代码 。 


无 论 哪 种 方法 都 使 得 管理 层 不 能 准确 地 知晓 目前 有 哪些 活跃 的 缺 
陷 、 缺 陷 的 严重 程度 如 何 、 缺 陷 发 现 呈 现 出 何 种 趋势 ， 也 使 得 缺陷 
报告 不 能 反应 缺陷 修复 的 工作 量 。 这 动摇 了 项 目 决策 的 数据 基础 ， 
令 项 目 发 展 承担 了 更 大 的 风险 。 令 人 忱 惜 的 是 ， 管 理 者 、 程 序 员 、 
测试 人 员 都 在 以 自己 的 方式 来 帮助 产品 ， 却 令 产 品质 量 受到 威胁 。 


有 些 项 目 团队 不 但 统计 缺陷 数目 ， 还 会 统计 测试 用 例 总 数 和 已 通过 的 测 
试用 例 数目 ， 以 评估 测试 活动 的 进度 。 我 认为 这 种 基于 测试 用 例 数 目的 
进度 度量 不 会 获得 期 望 的 效果 ， 且 具有 严重 的 副作用 。 














测试 人 员 无 法 预测 有 多 少 测试 用 例会 被 执行 。 在 测试 过 程 中 ， 新 友 

现 会 激 友 新 的 测试 想法 ， 进 而 生成 更 多 的 测试 用 例 。 因 为 测试 人 员 
不 能 预料 会 友 现 哪些 信息 和 缺陷 ， 他 也 不 能 给 出 最 终 的 测试 用 例 总 
数 。 既 然 估 算 测 试用 例 总 数 是 “不 可 能 的 任务 ”， 测 试 人 员 就 只 能 提 
a eae ER 
风险 的 。 


强制 要 求 测试 人 员 记 录 所 有 测试 用 例 及 其 执行 结果 会 浪费 测试 人 员 
的 时 间 。 测 试 是 一 个 探索 过 程 ， 测 试 人 员 设 计 测 试用 例 ， 以 刺探 产 
品 信息 ， 并 根据 产品 的 反应 设计 更 多 的 测试 用 例 。 记 录 所 有 的 测试 
用 例 及 其 结果 会 打 断 “设计 -~ 实验 -反思 -再 设计 ”的 迭 代 过 程 ， 降 
低 了 测 斌 效率。 而且， 并 不 是 所 有 的 测试 用 例 都 有 文档 化 的 价值 。 
许多 测试 用 例 只 需要 运行 一 次 ， 将 它们 记录 在 案 只 是 纯粹 的 文案 工 
作 ， 不 会 为 项 目 提 供 价 值 。 在 大 多 数 情况 下 ， 测 试 人 员 只 需 记 录 测 
试 数据 、 测 试 策略 (一 组 指导 测试 设计 的 测试 想法 ) 和 所 发 现 的 缺 
隐 与 风险 (为 后 续 的 测试 设计 提供 指导 信息 ) 。 更 多 讨论 请 参考 

3.2.13 节 介绍 的 测 程 表 。 


因为 详细 地 预测 和 记录 测试 用 例 不 古 切实 可 行 的 测试 活动 ， 测 试 人 
员 通 常 不 会 认真 地 统计 测试 用 例 总 数 和 已 通过 的 测试 用 例 个 数 〈 即 
便 他 们 认真 对 等 ， 也 会 受挫 ) 。 这 意味 着 他 们 提供 的 信息 是 不 准确 
的 ， 而 使 用 不 准确 的 信息 会 导致 错误 的 项 目 决定 。 此 外 ， 不 合理 的 
度量 会 挫伤 员工 的 积极 性 ， 隐 性 地 降低 工作 效率 。 




















坦率 地 说 ， 上 度量 的 副作用 往往 来 自 管理 层 制定 的 开发 流程 。 测 试 人 员 可 
能 没有 勇气 公开 对 项 目 管理 者 提出 反对 意见 。 然 而 ， 沉 默 并 不 会 缓解 问 
题 ， 负 责任 的 测试 人 员 应 该 做 正确 的 事 。 这 并 不 容易 ， 也 没有 通用 的 应 
对 方法 。 本 市 提供 两 点 建议 ， 供 测试 人 员 参 考 。 


第 一 ， 测 试 人 员 应 该 坚持 原则 ， 以 正直 的 态度 来 服务 团队 。 这 体现 为 测 
试 人 员 应 该 提供 诚实 的 信息 ， 包 括 如 实 提交 人 缺陷、 报告 进度 、 提 供 度量 
值 等 。 即 便 存 在 “ 漂 灭 ?缺陷 的 压力 ， 测 试 人 员 也 要 如 实 提交 所 发 现 的 错 
误 。 即 便 度 量 方法 不 其 合理 ， 测 试 人 员 也 要 提供 真实 而 非 杜撰 的 数值 。 
诚实 地 提供 技术 信息 是 测试 人 员 的 职责 ， 也 是 后 续 改 进 的 基础 。 


第 二 ， 训 试 人 员 应 该 密切 关注 度量 的 副作用 。 如 果 发 现 东 个 度量 正在 产 
生 负 面 影响 ， 他 应 该 构建 理论 、 收 集 证 据 和 提出 改进 方法 。 也 就 是 说 ， 
他 要 能 解释 该 度量 的 基本 元 素 〈 意 图、 属性 、 算 法 、 联 系 ) , FFA 
会 在 当前 项 目 环 境 中 产生 不 良 副 作用 。 然 后 ， 他 需要 收集 支持 其 观点 的 
案例 和 数据 。 仅 仅 表明 当前 度量 存在 问题 是 不 够 的 ， 测 试 人 员 还 需要 思 
考 如 何 改 进 当 前 流程 ， 提 出 相应 的 解决 方法 。 之 后 ， 他 应 该 与 测试 经 理 
一 对 一 地 面谈 ， 解 释 自己 的 理论 、 证 据 和 新 方法 ， 向 他 提供 第 一 线 员 工 
对 工作 流程 的 反 饿 。 有 时 ， 测 试 人 员 可 以 和 几 个 同事 达成 一 致意 见 ， 然 
后 一 起 问 测 试 经 理 反 馈 意 见 ， 利 用 团队 的 力量 来 增强 观点 的 说 服 力 。 


9.4.6 注重 实效 的 计算 


与 9.3.3 节 所 介绍 的 历史 数据 收集 一 样 ， 度 量 的 计算 也 应 该 力求 简单 、 目 
动 和 准确 。 


首先 ， 测 试 人 员 应 该 优先 考 碟 简单 的 度量 方法 ， 如 代码 行 数 统计 、 缺 
陷 个 数 统计 等 。 这 些 上 度量 方法 拥有 明确 的 统计 对 象 ， 简 单 明 了 的 算 
法 ， 能 够 更 朋 接 地 阐述 度量 值 的 含义 。 上 度量 只 是 拉 术 调查 的 辅助 工具 ， 
简单 的 方法 能 用 较 小 的 付出 获得 足够 好 的 信息 ， 为 后 续 调 碍 留 下 更 多 的 
资源 和 时 间 。 随 独 项 目的 发 展 ， 他 可 以 逐渐 引入 一 些 新 的 度量 方法 。 这 
是 一 个 实验 的 过 程 ， 他 会 保留 被 实践 证 明 行 之 有 效 的 方法 ， 并 去 除 那 些 
没有 帮助 的 方法 。 


其 次 ， 测 试 人 员 应 该 尽量 自动 地 计算 度量 结果 。 本 书 的 7.1.1 节 、8.2.1 
节 、8.2.2 节 、9.3.3 节 对 此 提供 了 一 些 建 议 。 简 而 言 之 ， 测 试 人 员 应 该 掌 
握 一 门 开 发 效率 高 的 程序 语言 ， 从 而 快速 地 实现 度量 算法 。 考 虑 到 许多 
团队 用 数据 库存 储 项 目 数据 ， 熟 练 地 使 用 SQL 将 帮助 测试 人 员 极 大 地 提 






































高 开发 效率 。 此 外 ， 电 子 表格 软件 能 快速 地 完成 一 些 计算 任务 ， 且 提供 
了 强大 的 作 图 功能 ， 也 是 测 试 人 员 计 算 和 呈现 度量 值 的 好 工具 。 


第 三 ， 测 试 人 员 应 该 在 测试 活动 结束 后 并 即 收 集 度 量 所 需要 的 输入 数 
Tih 。 准 确 的 度量 值 依赖 于 正确 的 算法 和 准确 的 数据 。 为 了 避免 记忆 错 
误 、 数 据 丢 失 等 问题 ， 测 试 人 员 应 该 尽早 收集 必要 的 项 目 数据 ， 并 受 善 
保存 。 如 果 用 测 程 组 织 测试 活动 ， 他 可 以 在 一 个 测 程 结束 后 ， 记 录 相 关 
数据 。 此 外 ， 他 也 可 以 在 每 天 下 班 前 回顾 当天 的 工作 ， 反 思 测 试 集 略 ， 
总 结 测 试 进度 ， 并 记录 必要 的 数据 。 














9.5 ”测试 小 组 


测试 小 组 是 项 目 团队 的 一 部 分 ， 是 一 个 小 型 的 团队 。 所 谓 团队 不 是 一 群 
在 同一 地 点 工作 的 人 ， 而 是 一 群 彼此 文 持 以 达成 共同 目标 的 人 。 本 节 讨 
论 测试 人 员 如 何 加 入 测试 小 组 的 团队 协作 中 。 


9.5.1 价值观 


适应 团队 风格 的 第 一 步 是 了 解 团队 的 价值 观 。 有 些 团队 会 明确 前 述 目 己 
所 秉持 的 价值 观 ， 并 在 日 癌 工 作 中 了 予以 贯彻 。 即 便 没 有 明文 记载 ， 测 试 
人 员 仍 旧 可 以 感受 到 测试 小 组 固有 的 工作 风格 和 价值 取舍 。 在 这 样 的 团 
MP, MAA REGANE, ACRI ARTS SES ah 
期 望 。 


不 过 ， 有 些 团 队 并 没有 明确 的 价值 观 ， 或 者 测试 小 组 的 行为 并 不 像 测试 
经 理 所 宣称 的 那样 。 判 断 测试 经 理 ( 或 测试 人 员 ) 是 否 真 的 重视 某 件 

事 ， 束 要 看 他 有 没有 投入 时 间 和 精力 去 把 它 做 好 。 如 果 测 试 经 理 宣称 他 
非常 重视 测试 人 员 的 协作 ， 却 很 少 出 席 例 行 的 测试 协调 会 议 ， 那 么 测试 
人 员 束 知道 “测试 协作 ”并 不 是 他 最 重视 的 东西 。 如 果 测 试 经 理 反 复 强 调 
目 动 化 测试 的 重要 性 ， 测 试 小 组 却 任 由 大 量 的 测试 用 例 莹 遇 失 败 而 不 予 
修复 ， 那 么 测试 人 员 就 知道 “自动 化 测试 的 稳定 性 ”并 不 是 高 优先 级 的 任 
务 。 无 论 团队 风格 如 何 ， 测 试 人 员 都 必须 对 自己 负 员 ， 他 需要 确定 目 己 
的 价值 观 ， 以 引导 目 己 的 职业 发 展 。 


不 同 的 测试 人 员 基 于 目 身 情况 和 项 目 环境 会 建立 不 同 的 价值 观 。 其 中 ， 
有 了 两 点 是 需要 坚持 的 基础 。 第 一 点 是 本 章 所 有 反复 强调 的 “正直 ”， 这 是 一 
个 信息 提供 者 的 信誉 基础 。 第 二 点 是 “互助 ”这 是 团队 工作 的 基础 。 


互助 的 第 一 步 是 高 质量 地 完成 目 己 的 工作 。 一 方面 ， 只 有 移行 完成 目 己 
的 工作 ， 才 有 额外 的 时 间 去 帮助 测试 伙伴 。 男 一 方面 ， 测 试 人 员 之 间 是 
DO T i eee rm ere 
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以 了 解 最 新 情况 ， 避 开 已 知 问 题 ， 从 而 更 有 效 地 探索 软件 。 例 如 ， 测 试 
人 员 可 以 在 以 下 领域 中 作出 贡献 。 


。 测试 小 组 周 会 。 许 多 测试 小 组 会 举办 周 会 ， 以 颁布 制度 、 通 报 情 
况 、 布 置 任务 、 协 调 活动 、 展 示 技 术 等 。 通 党 ， 测 试 经 理会 主持 周 
会 ， 负 责 具 体 任 务 的 测试 人 员 会 介绍 相应 的 情况 。 如 果 测 试 人 员 有 
信息 需要 分 至 给 测试 小 组 ， 他 可 以 事先 通知 测试 经 理 ， 以 便 将 相关 
内 容纳 入 会 议 议 程 。 在 会 议 上 ， 他 会 介绍 情况 ， 并 回答 小 组 成 员 的 
J 他 应 该 妥善 记录 ， 并 在 会 后 
具 极 跟 进 。 


测试 小 组 知识 库 。 组 织 恨 好 的 测试 小 组 都 会 考虑 构建 目 己 的 知识 
库 。 知 识 库 的 载体 通常 是 支持 多 人 协作 编辑 的 Wiki 网 页 或 共享 笔记 
本 (如 Micorosft OneNote) ， 其 内 容 涉 及 测试 活动 的 方方面面 ， 包 
括 测 斌 制度、 工作 流程 、 测 试 指南 、 测 试想 法 列表 、 检 查 列 表 、 移 
交 文 档 、 缺 陷 模 板 、 文 档 模 板 、 和 党 用 工具 、 推 荐 实践 等 。 好 的 知识 
库 提供 了 一 个 众所周知 的 地 点 ， 让 测试 小 组 分 享 其 知识 与 经 验 ， 让 
测试 人 员 方 便 地 搜索 有 用 的 信息 。 测 试 人 员 应 该 积极 地 向 知识 库 贡 
献 信 息 ， 将 工作 中 发 现 的 、 学 到 的 、 感 悟 的 知识 记录 下 来 。 这 些 信 
妃 不 但 能 帮助 测试 小 组 ， 而 且 从 长 远 看 ， 对 于 测试 人 员 的 职业 发 展 
有 涓 滴 成 河 之 效 。 经 过 一 段 时 间 的 持续 积累 ， 测 试 人 员 会 发 现 当 初 
记录 的 片段 信息 渐渐 构成 了 体系 ， 目 身 的 能 力也 有 长 足 的 进步 。 


定期 的 测试 报告 。 恰 如 Cem Kaner 等 测试 专家 所 指出 的 ， 测 试 小 组 
的 力量 来 源 于 沟通 ， 而 定期 的 状态 报告 是 传递 信息 的 强 有 力 的 工具 
[Kaner01]。 因 些 ， 测 试 人 员 应 该 定期 问 测试 经 理 报告 工作 情况 。 如 
果 他 承担 了 一 项 服务 于 测试 小 组 的 任务 ， 他 也 应 该 定期 则 测试 小 组 
报告 任务 进展 。 一 般 而 言 ， 状 态 报 告 的 默认 频率 是 每 周一 次 。 对 于 
一 些 不 紧急 的 任务 ， 可 以 两 、 三 周报 告 一 次 ， 最 长 间隔 不 要 超过 一 
个 月 。 在 项 目 临 近 发 布 时 ， 他 可 能 需要 每 天 报告 ， 以 方便 测试 小 组 
掌握 进度 、 协 调 工 作 。 


队 的 价值 观 最 终 体现 为 个 体 的 实际 行动 。 测 试 人 员 的 行为 不 但 能 帮助 
他 融入 团队 ， 也 会 对 团队 的 价值 观 产 生 影响 。 坚 持原 则 并 积极 互助 能 帮 
助 测 试 人 员 和 测试 小 组 更 好 地 发 展 。 

9.5.2 团队 建设 


在 互助 的 基础 上 ， 测 试 人 员 需 要 积极 参与 团队 建设 的 活动 。 所 谓 团队 是 
为 了 解决 共同 问题 而 紧密 协作 的 一 组 人 ， 所 以 团队 建设 的 有 效 方法 是 让 


























小 组 成 员 一 起 完成 任务 。 这 里 有 两 个 关键 点 : 第 一 ， 小 组 成 员 需 要 协作 
才能 获得 成 功 ， 单 枪 匹 马 的 作战 无 法 取得 胜利 ， 第 二 ， 任 务 需 要 成 功 完 
成 ， 胜 利 会 帮助 一 群 人 凝聚 为 团队 。 基 于 这 两 点 ， 以 下 活动 对 于 团队 建 
设 有 潜在 的 帮助 。 


。 集成 测试 。 在 集成 测试 或 系统 测试 中 ， 测 试 小 组 的 成 员 会 测试 同 
一 个 产品 实例 ， 他 们 要 相互 配合 以 完成 彼此 依赖 的 测试 任务 。 在 此 
过 程 中 ， 他 们 会 一 起 制订 计划 ， 共 同 解 决 阻 碍 测试 的 问题 ， 交 换 饮 
此 拥有 的 信息 ， 携 手 完成 测试 流程 。 有 经 验 的 测试 领导 和 测试 人 员 
会 努力 组 织 集成 测试 活动 ， 通 过 密切 的 协调 和 交流 ， 让 集成 测试 和 
团队 建设 都 获得 成 功 。 


结对 训 试 、 组 队 测试 和 头脑 风 骏 会 议 。 这 些 是 7.3.3 市 所 介绍 的 团 
队 测 试 活动 ， 其 特点 都 是 多 个 测试 人 员 共 同 测试 一 个 产品 实例 。 在 
短 时 间 内 ， 他 们 密切 地 交流 ， 相 互 传授 业务 知识 和 测试 拉 能 ， 以 激 
发 出 大 量 的、 多 样 化 的 测试 想法 。 这 些 测试 活动 充分 利用 了 测试 人 
员 的 差异 性 和 互补 性 ， 通 过 实际 测试 展示 出 协同 作战 要 胜 过 单 枪 匹 
马 的 战斗 。 此 外 ， 它 们 也 具有 团队 学 习 的 特征 ， 能 让 好 的 测试 技术 
在 测试 小 组 中 得 到 传播 。 


缺陷 清扫 。 与 结对 测试 、 组 队 测试 和 头脑 风暴 会 议 相 似 ， 缺 陷 清 
扫 是 一 项 短期 的 全 员 测 试 活动 。 除 了 测试 人 员 ， 有 些 缺 陷 清 扫 还 邀 
请 程序 员 、 产 品 经 理 、 内 部 用 户 等 共同 参与 。 其 主要 优势 在 于 引入 
了 “更 多 的 眼睛 ”: 程序 员 更 了 解 代 码 实 现 ， 有 可 能 发 现 隐藏 的 缺 

陷 ; 测试 人 员 更 擅长 缺陷 猜测 和 持续 攻击 ， 有 可 能 发 现 被 其 他 测试 
人 员 所 遗漏 的 缺陷 ， 程 序 经 理 更 理解 领域 和 业务 ， 有 可 能 发 现 流程 
和 设计 上 的 缺陷 ， 内 部 用 户 是 软件 的 使 用 者 ， 有 可 能 发 现 易 用 性 上 
ee ea cere cue ee eae 
型 的 缺陷 。 


接 下 来 ， 本 市 将 介绍 一 个 缺陷 清扫 的 真实 案例 ， 它 反应 了 一 些 团队 建设 
的 基本 要 点 。 当 时， 我 所 在 的 测试 小 组 正在 测试 一 个 在 线 产 品 。 在 发 布 
前 ， 我 们 进行 了 一 次 缺陷 清扫 ， 其 组 织 与 执行 过 程 如 下 。 


测试 小 组 大 约 有 20 名 测试 员工 。 每 个 员工 会 负责 一 个 或 几 个 子 系统 
的 测试 ， 这 些 子 系统 会 组 成 整个 在 线 系统 。 在 集成 测试 阶段 ， 测 试 
领导 组 织 了 一 次 缺陷 清扫 ， 以 再 次 探测 子 系统 协作 中 的 缺陷 。 



































测试 经 理 提 前 一 周公 布 了 测试 安排 : 测试 时 间 是 下 周三 下 午 1 点 到 5 
扩 ， 测 试 地 点 是 一 个 足够 容纳 所 有 小 组 成 员 的 会 议 室 ， 每 位 员工 携 
市 笔记 本 电脑 前 往 测试 。 此 外 ， 他 还 列举 了 此 次 测试 需要 重点 关注 
的 子 系统 和 使 用 情景 ， 并 提供 了 缺陷 模板 。 


随后 ， 测 试 经 理 安排 几 位 员工 去 搭建 被 测试 系统 。 他 们 选择 了 几 台 
计算 机 作为 缺陷 清扫 的 “专用 测试 机 ”"， 部 获 了 所 有 子 系 统 ， 导 入 了 
来 自 产 品 环境 的 业务 数据 。 接 着 ， 他 们 做 了 一 些 基 本 的 端 到 新 测 
试 ， 确 保 该 系统 不 存在 阻碍 深入 测试 的 问题 。 


至 此 ， 缺 陷 清扫 的 准备 工作 完成 。 回 顾 准备 阶段 ， 不 难看 出 高 效 的 
缺陷 清扫 需要 精心 的 安排 。 首 先 ， 测 试 组 织 者 要 明确 地 通报 测试 安 
排 ， 邀 请 测试 人 员 参 与 测试 。 第 二 ， 他 需要 公布 测试 指南 。 这 并 不 
是 束缚 测试 人 员 的 思路 ， 而 是 强调 本 次 测试 的 重点 ， 以 确保 测试 小 
组 确实 测试 过 相关 领域 。 第 三 ， 测 试 组 织 者 要 提供 必要 的 测试 环 
境 ， 包 括 足够 舒适 的 会 议 室 、 足 够 稳定 的 被 测 系统 等 。 


在 缺陷 清扫 当天 ， 测 试 小 组 成 员 进 入 会 议 室 ， 一 起 测试 。 会 议 室 中 
有 一 张 很 大 的 方 宁 《由 多 张 昌 子 拼 接 而 成 ) ， 让 所 有 人 可 以 围 梨 而 
坐 。 如 此 安排 座位 的 好 处 是 ， 测 试 人 员 一 抬头 就 可 以 看 到 其 他 人 的 
脸 ， 能 够 方便 地 对 话 。 当 测试 人 员 测 试 他 人 负责 的 子 系统 时 ， 他 可 
能 不 了 解 该 子 系统 的 业务 目标 和 使 用 方式 。 这 时 ， 他 可 以 询问 子 系 
统 的 测试 负责 人 ， 以 立即 获得 解答 。 这 种 “即时 通信 ?使 得 测试 可 以 
顺畅 地 推进 ， 也 目 然 构 建 了 测试 人 员 之 间 的 互助 关系 。 


在 日 常 工作 中 ， 测 试 人 员 大 多 在 独立 工作 ， 彼 此 之 间 的 联系 并 不 紧 
蜜 。 在 缺陷 清扫 中 ， 测 试 人 员 进 行 渗透 式 交 流 ， 能 够 较 紧 蜜 地 协 
作 。 有 时 ， 一 位 测试 人 员 分 享 他 发 现 的 严重 缺陷 ， 这 激 起 了 其 他 人 
的 测试 灵感 ， 从 而 能 挖掘 出 更 多 的 问题 。 有 时 ， 他 们 一 起 哺 舌 拙劣 
的 设计 和 请 移 的 缺陷 ， 甚 至 说 一 些 笑话 以 相互 逗乐 。 这 种 活跃 的 气 
氛 有 助 于 更 积极 、 更 自由 地 测试 。 


经 过 一 段 时 间 ， 测 试 小 组 发 现 了 一 些 个 人 测试 难以 友 现 的 缺陷 。 首 
先 ， 测 试 小 组 履 盖 了 整个 线 上 系统 ， 执 行 了 许多 长 流程 、 跨 子 系统 
的 情景 ， 其 露出 一 些 集成 层面 的 问题 。 第 二 ， 测 试 人 员 在 测试 搁 巧 
和 思考 方式 上 存在 差异 性 ， 当 他 们 测试 他 人 的 系统 时 ， 能 够 发 现 一 
些 被 遗漏 的 缺陷 。 























作为 测试 组 织 者 ， 测 试 经 理 杀 上 自 参 与 缺陷 清扫 。 他 也 坐 在 方 果 边 一 
起 工作 。 他 的 行为 让 测试 小 组 意识 到 领导 对 缺陷 清扫 和 团队 协作 的 
重视 ， 因 为 他 切实 投入 了 自己 的 时 间 。 在 测试 过 程 中 ， 测 试 经 理 每 
小 时 都 会 通报 测试 进度 : 目前 已 经 发 现 了 多 少 缺 陷 、 谁 提交 了 比较 
多 的 缺陷 、 哪 些 缺 陷 是 值得 注意 的 等 。 利 用 缺陷 数目 ， 他 用 实在 的 
Feta ER gene! et rete aden cere eee 

















当 测试 进行 到 一 半 的 时 候 ， 测 试 经 理 提供 了 一 些 食品 ， 包 括 慕 片 、 
镜 干 、 水 果 、 人 饮料 等 。 于 是 ， 测 试 人 员 暂 时 放下 测试 ， 休 息 片刻 。 
他 们 一 边 吃 东西 ， 一 边 闲聊 。 这 样 的 < 中 场 休 息 * 有 利于 测试 人 员 
在 “下 半 场 "继续 工作 。 


在 缺陷 清扫 结束 后 ， 测 试 经 理 统计 所 提交 的 缺陷 ， 然 后 发 送 总 结 报 
告 给 测试 小 组 。 该 报告 感谢 小 组 成 员 的 参与 ， 罗 列 出 所 有 缺陷 ， 并 
公布 提交 缺陷 最 多 的 前 三 名 。 几 天 后 ， 测 试 经 理 问 这 三 名 员工 颁 

交 ， 奖 品 是 餐 券 、 书 券 等 小 礼品 。 奖 品 并 不 贵重 ， 其 目的 是 提高 整 


个 活动 的 趣味 性 。 


构建 高 效 团 队 并 没有 什么 一 定 奏 效 的 方法 ， 经 理 所 能 做 的 是 营造 一 个 恰 
当 的 环境 ， 让 团队 逐渐 地 上 自行 凝聚 IDeMacro99]。 在 此 过 程 中 ， 测 试 人 
员 应 该 有 意识 地 帮助 测试 伙伴 和 测试 经 理 ， 这 对 他 的 职业 发 展 也 大 有 神 


` 














EX 


9.6 


小 结 


本 章 讨 论 了 测试 人 员 如 何 有 效 地 服务 于 团队 ， 并 实施 恰当 的 测试 管理 。 


测试 人 员 通 过 服务 团队 来 体现 目 己 的 价值 。 这 和 要求 他 设 定 正确 的 目 
标 ， 高 质量 地 完成 工作 ， 并 乐于 助人 。 


为 了 对 目 己 负 责 ， 测 试 人 员 应 该 建立 正确 的 价值 观 。 其 中 ， 正 直 和 
互助 是 核心 价值 。 


和 











团队 成 员 都 在 尽力 帮助 项 目 ， 测 试 人 员 应 该 文 持 他 们 ， 并 用 技术 调 
查 检验 其 工作 。 


个 人 测试 计划 是 项 目测 试 计划 的 延伸 ， 需 要 考虑 各 种 项 目 元 素 ， 并 
聚焦 风险 。 


测试 活动 需要 动态 省 理 ， 通 过 测试 过 代 、 动 态 优先 级 、 有 效 估算 、 
及 时 报告 等 实践 来 适应 不 断 变化 的 项 目 语 境 。 


测试 人 员 需 要 经 第 自问 :“ 我 现在 可 以 测试 什么 ?能够 如 何 测试 ? ” 
测试 人 员 应 该 估算 自己 的 任务 ， 以 此 为 依据 拟定 计划 ， 然 后 做 出 承 
Wio 








计数 和 计算 是 估算 的 基本 手段 ， 项 目 数据 是 它们 的 处 理 对 象 。 因 
此 ， 准 确 估算 的 第 一 步 是 妥善 地 收集 项 目 数 据 。 


同时 估算 最 差 情 况 和 最 好 情况 是 常用 的 估算 技巧 。 而 定期 比较 估算 
值 和 实际 值 ， 分 析 不 准确 估算 的 原因 ， 也 有 助 于 提高 估算 能 力 。 


掌握 度量 方法 ， 需 要 了 解 它 的 意图 、 属 性 、 算 法 、 联 系 、 副 作用 。 


0 R 
面 影响 。 
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。“ 重 视 ” 一 件 事 应 该 体现 为 花 时 间 和 精力 把 它 做 好 。 


第 10 AEH 


第 9 章 指 出 测试 人 员 是 执行 经 理 ， 需 要 积极 地 省 理 自 己 的 时 间 和 工作 。 
执行 经 理 同时 也 是 专业 人 员 ， 应 该 坚持 专业 主义 ， 退 求 精 湛 的 技艺 和 晶 
越 的 工作 。 为 了 对 团队 和 目 己 负 责 ， 他 应 该 主动 实施 个 人 管理 ， 通 过 每 
天 的 努力 来 积极 推动 其 职业 发 展 。 


本 章 讨 论 个 人 管理 的 基本 实践 ， 包 含 时间 省 理 、 个 人 学 习 、 专 业 发 展 等 
内 容 。 这 些 主题 与 个 人 特点 紧密 相关 ， 所 以 不 同 的 人 会 发 展 出 不 同 风格 
的 方法 ， 且 都 能 获得 很 好 的 效果 。 本 章 将 结合 我 的 实践 ， 介 绍 一 些 常 见 
的 原则 和 方法 ， 供 测试 人 员 参 考 。 


10.1 时 间 管 理 


在 激烈 的 市 场 竞争 中 ， 测 试 工作 呈现 出 进度 紧 、 任 务 多 的 情形 ， 且 经 常 
被 突 发 事件 打扰 。 为 了 应 对 这 些 挑 成 ， 测 试 人 员 需 要 主动 管理 目 己 的 时 
间 ， 因 为 时 间 是 最 重要 的 项 目 资源 之 一 ， 它 深远 地 影响 了 测试 活动 的 目 
标 设 定 、 和 集 略 选择 和 执行 方式 。 积 极 的 时 间 管 理 将 促成 更 好 的 测试 过 
程 ， 提 高 个 人 和 团队 的 绩效 。 


时 间 管 理 本 质 上 古 任务 管理 。 它 意味 着 为 一 组 任务 制订 计划 ， 然 后 积极 
地 行动 ， 使 重要 的 任务 可 以 在 期 望 的 时 间 内 完成 。 对 于 测试 人 员 而 言 ， 
时 间 管 理 是 测试 管理 的 一 部 分 ， 其 目的 是 在 项 目 期 限 内 完成 一 组 动态 变 
化 的 测 斌 任务。 因此， 第 9 章 所 讨论 的 测试 计划 、 测 试 迫 代 、 动 态 省 
理 、 软 件 估算 等 内 容 都 可 以 应 用 于 时 间 管 理 。 本 市 将 介绍 我 是 如 何 具 体 
运用 这 些 方法 的 。 


10.1.1 利用 任务 清单 记录 所 有 工作 项 


对 我 而 言 ， 时 间 管 理 的 第 一 步 是 维护 一 份 任务 清单 ， 用 它 记 录 并 追踪 本 
周 的 工作 项 。 这 份 清单 既是 时 间 管 理 信 息 的 “数据 库 ?， 存 储 了 所 有 的 工 
作 项 信息 ， 同 时 也 是 一 份 工作 计划 ， 安 排 了 任务 的 执行 顺序 。 这 样 做 的 
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高 效 工 作 的 第 一 步 是 保持 专注 。 这 意味 着 暂时 “起 记 ” 其 他 任务 ， 集 
中 精力 把 当前 任务 做 好 。 为 了 避免 “永久 态 记 ”而 错过 完成 期 限 ， 我 
需要 把 待 办 事项 都 记录 下 来 。 这 让 我 更 放心 地 工作 ， 因 为 我 知道 它 
们 已 经 被 妥善 保存 ， 可 以 随时 查阅 。 此 外 ， 如 果 我 强迫 目 己 去 记忆 
这 些 工 作 项 ， 难 免 要 在 头脑 中 反复 回顾 ， 这 无 形 中 破 环 了 专注 的 氛 
围 ， 既 分 散 精 力 ， 又 顾此失彼 。 


在 一 周 的 工作 中 ， 我 需要 完成 多 个 工作 项 ， 而 且 每 天 都 可 能 接 到 新 
任务 。 为 了 做 到 “要 事 第 一 ”， 我 需要 比较 这 些 工 作 项 的 轻重 ， 并 为 
它们 安排 恰当 的 时 间 和 资源 。 因 此 ， 我 需要 将 它们 记录 下 来 ， 以 随 
时 审视 当前 的 工作 项 ， 动 态 地 安排 优先 级 ， 并 持续 退 踪 完成 进度 。 


我 试 过 几 种 任务 清单 的 形式 。 一 开始 ， 我 将 工作 项 记录 在 一 张 A4 纸 
上 ， 完 成 一 项 就 将 它 划 挥 。 写 满 一 张 纸 ， 就 换 一 张 白 纸 ， 并 将 未 做 完 的 












































工作 项 状 写 上 去 。 该 方法 简单 易 用 ， 任 务 清单 一 直 英 在 工作 昌 上 ， 触 手 
可 及 ， 随 时 竺 得。 当 新 任务 出 现时 ， 我 只 需 在 纸 上 记 上 一 行 ， 就 可 以 继 
续 当 前 工作 ， 几 乎 不 产生 中 断 开 销 。 


后 来 ， 我 听从 了 《时 间 管 理 一 一 给 系统 管理 员 》 (Time Management for 
System Administrators ) 一 书 的 建议 : 把 所 有 信息 集中 在 一 个 地 方 ， 以 
便 随 时 随地 访问 [Limoncelli05]。 于 是 ， 我 将 工作 项 记录 到 记事 本 中 。 
记事 本 的 优点 是 可 以 随 丑 携带 ， 有 任何 想法 都 可 以 及 时 记录 。 我 带 着 它 
参加 各 种 会 议 ， 如 果 发 现 新 的 信息 和 任务 ， 我 会 记录 下 来 ， 并 在 会 后 将 
新 任务 补充 到 本 周 工作 列表 中 。 下 班 后 ， 如 采 我 对 第 二 天 的 工作 产生 了 
新 想法 ， 我 会 立即 将 它 写 入 记事 本 ， 从 而 避免 遗忘 。 


现在 ， 我 将 Microsoft OneNotel 作为 任务 清单 的 载体 ， 并 将 笔记 存放 在 
Office 3657 的 服务 器 上 。 电 子 笔记 本 较 纸 质 笔记 本 更 容易 修改 ， 没 有 着 
写 的 开销 。 而 且 ， 随 着 云 计 算 的 发 展 ， 电 子 笔记 本 能 够 存储 在 云端 ， 使 
用 计算 机 和 智能 手机 都 可 以 访问 ， 同 样 具 有 随时 随地 读 写 的 能 力 。 我 依 
然 使 用 记事 本 记录 日 党 工作 中 发 现 的 信息 和 产生 的 想法 ， 但 是 会 将 工作 
项 都 转移 到 电子 笔记 本 中 ， 使 它们 在 一 个 地 方 被 存储 和 管理 。 




















1 http://www.onenote.com 。 


2 http://www.office365.com 。 


图 10-1 是 我 的 工作 清单 样 例 ， 它 由 3 个 部 分 组 成 。 第 一 部 分 是 本 周 的 工 
作 项 列表 。 在 使 用 电子 笔记 本 之 后 ， 我 会 为 较 复杂 的 工作 项 建立 单独 的 
页 面 ， 并 用 链接 连接 工作 项 和 页 面 。 该 页 面 是 对 应 任务 的 工作 籍 ， 用 于 
记录 测试 过 程 的 各 种 信息 。 它 没有 固定 的 格式 ， 其 内 容 可 能 包含 被 测 构 
建 的 版 本 号 、 构 建 位 置 、 参 考 资料 链接 、 测 试 环境 配置 、 测 试想 法 、 检 
查 列表 、 测 试 发 现 等。 将 任务 清单 和 任务 页 面 放 在 同一 个 笔记 本 内 ， 让 
我 在 测试 时 可 以 快速 地 查阅 信息 ， 并 方便 地 记录 测试 笔记 。 


在 实际 工作 中 ， 任 务 页 面容 纳 了 测试 信息 、 测 试 抹 略 和 测试 日 志 ， 是 多 
种 测试 文档 的 综合 体 。 以 前 ， 我 习惯 用 纸 笔 来 记录 工作 项 和 测试 笔记 ， 
但 是 我 发 现 这 常常 导致 信息 的 分 散 。 例 如 ， 测 试 经 理发 送 电子 邮件 来 通 
知 新 任务 ， 我 将 该 任务 写 入 记事 本 。 在 测试 时 ， 我 经 常 要 参考 任务 邮 
件 ， 以 获得 必要 的 测试 信息 。 这 强迫 我 在 记事 本 (测试 笔记 ) 和 邮件 
(测试 信息 〉 之 间 来 回 切 换 ， 无 形 中 耗费 了 精力 。 现 在 ， 我 可 以 直接 将 




















邮件 内 容 粘 贴 到 任务 页 面 中 ， 使 得 参考 信息 随时 可 用 。 而 且 ， 电 子 笔记 
本 文 持 堆 图、 标签 、 列 表 、 寓 文本 等 对 象 ， 令 测试 笔记 更 加 生动 。 在 茶 
种 意义 上 ， 该 笔记 本 为 专心 工作 提供 了 一 个 “工作 空间 *”， 使 得 测试 活动 
的 信息 输入 和 输出 无 需 在 多 个 信息 源 间 切换 。 此 外 ， 我 会 定期 存档 任务 
页 面 。 今 后 奉 接 到 相似 的 任务 ， 我 会 找 出 这 些 页 面 ， 以 获得 参考 资料 。 


任务 清 蛙 的 第 二 部 分 是 本 周 日 程 表 ， 它 为 工作 项 安排 了 具体 的 工作 日 。 
这 要 求 我 估算 工作 项 的 时 间 ， 并 根据 优先 级 等 因素 安排 其 先后 顺序 。 我 
将 性 能 测试 安排 在 周一 ， 是 为 了 尽早 提供 性 能 测试 报告 ， 让 程序 员 有 更 
多 的 时 间 去 调查 性 能 问题 。 集 成 测试 被 放 在 周二 和 周三 ， 是 因为 它 需 要 
大 约 1.5 天 的 工作 量 ， 而 且 我 希望 尽早 产生 业务 数据 供 其 他 测试 小 组 使 

用 。 缺 陷 清扫 的 团队 活动 预定 在 周三 举行 ， 所 以 该 工作 项 只 能 置 于 周 

三 。 我 将 补丁 测试 安排 在 周 四 和 周 五 ， 是 因为 没有 其 他 测试 活动 依赖 于 
它 ， 只 要 在 本 周 完成 即 可 。 


日 程 安排 的 本 质 是 测试 计划 ， 即 拟定 恰当 的 方案 使 得 工作 项 (以 最 大 的 
概率 ) 在 一 周 内 完成 ， 并 提供 符合 关系 人 期 望 的 成 果 。 通 过 日 程 安 排 ， 
我 可 以 判断 本 周 能 否 完 成 预定 的 任务 。 如 果 时 间 不 够 完成 所 有 工作 项 ， 
我 会 标记 出 一 些 可 以 转移 到 下 周 的 任务 ， 将 它们 的 优先 级 降 到 最 低 ( 通 
常安 排 到 周 四 、 周 五 ) 。 如 果 时 间 还 是 不 够 ， 我 会 和 测试 经 理 讨 论 ， 共 
同 想 出 一 个 可 行 的 方案 。 有 关 个 人 计划 和 工作 量 估算 的 更 详细 讨论 请 参 
考 9.2 节 和 9.3 节 。 


任务 清单 的 第 三 部 分 是 今日 工作 安排 ， 它 以 列表 的 方式 呈现 了 当天 的 具 
体 工 作 。 图 10-1 呈 现 了 周一 的 工作 安排 ， 其 中 有 一 项 工作 是 “修订 本 周 
计划 。 这 是 因为 测试 小 组 周 会 有 时 会 分 配 一 些 新 的 测试 任务 ， 我 会 根据 
会 议 内 容重 新 调整 计划 。 
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图 10-1 任务 清单 


任务 清单 是 一 份 活动 的 工作 计划 ， 它 反应 了 我 对 当前 任务 的 安排 。 下 一 
步 我 要 做 的 是 根据 工作 进展 调整 任务 清单 ， 使 工作 计划 不 是 过 时 文案 ， 
而 是 反映 真实 情况 并 指引 方 癌 的 地 图 。 


10.1.2 ”坚持 周 计 划 和 每 日 回顾 


由 网 10-1 所 示 的 任务 清单 不 难看 出 ， 我 在 实施 周 循环 所 要 求 的 周 计划 。 
所 谓 周 循环 就 是 每 周 选 定 工作 项 ， 估 算 时 间 并 制定 方案 ， 然 后 尽 全 力 去 
完成 任务 。 敏 捷 开 发 专家 Kent Beck 指 出 周 循 环 是 极限 编程 的 基本 实 中 
之 一 ， 是 软件 人 员 开 始 敏捷 旅途 的 可 行 起 点 [Beck04]。 在 以 往 的 几 个 项 
目 中 ， 我 都 实施 周 计划 ， 并 获得 了 不 错 的 效果 。 因 此 ，9.2 节 也 建议 测 
i 0 以 此 来 实现 测试 活动 
J5 态 管 理 。 





为 了 退 踪 周 计划 的 实施 情况 ， 我 实施 每 日 回顾 。 在 下 班 前 ， 我 会 检查 当 
日 工作 列表 (如 图 10-1 所 示 任 务 清单 的 第 三 部 分 ) ， 并 制定 隔 天 的 工作 
列表 。 其 主要 活动 如 下 。 


。 为 新 出 现 的 任务 安排 时 间 。 在 项 目 过 程 中 ， 我 经 种 接 到 一 些 计 划 外 
的 任务 ， 或 想到 一 些 值 得 尝试 的 测试 倘 略 。 我 会 将 这 些 工 作 项 都 列 
入 周 计划 ， 然 后 在 每 日 回顾 中 调整 日 程 安排 《如 图 10-1 所 示 任 务 清 
单 的 第 二 部 分 ) ， 为 它们 分 配 工作 日 。 


将 当日 未 完成 的 工作 项 移 到 第 二 天 。 有 时 ， 一 些 任务 的 用 时 超出 了 
估算 ， 令 一 些 工 作 项 不 得 不 延 后 。 每 日 回顾 帮助 我 了 解 工 作 的 真实 
进展 ， 避 人 免 “埋头 盏 干 ” 却 态 记 了 实际 进度 。 在 工作 项 移动 的 过 程 
中 ， 我 会 特别 关注 高 优先 级 任务 ， 评 估 它 们 不 能 完成 的 风险 。 如 果 
ee es 
x 年; 方案 。 


为 第 二 天 安排 具体 的 活动 。 这 类 似 于 “微型 计划 ”， 将 工作 项 分 解 为 
一 系列 小 的 活动 ， 并 确定 相应 目标 。 这 些 具体 的 活动 和 目标 将 指引 
我 一 步 步 去 完成 工作 项 。 在 获得 具体 的 工作 安排 后 ， 我 会 安心 回 
家 ， 因 为 我 知道 第 二 天 的 工作 已 经 “ 尽 在 掌握 ”。 


周一 是 特殊 的 一 天 ， 它 的 工作 列表 是 根据 本 周 计划 所 制订 的 。 周 一 上 班 
后 ， 我 会 拟订 一 份 局 计划 ， 其 依据 是 上 周 的 工作 情况 和 当前 项 目 进度 。 
然后 ， 我 参加 测试 小 组 周 会 ， 收 集 更 多 的 项 目 信息 。 会 后 ， 我 根据 新 信 
息 调整 周 计划 ， 并 确定 周一 的 工作 列表 。 对 我 而 言 ， 周 一 上 午 是 制订 周 
计划 的 时 间 ， 而 周一 的 工作 列表 是 周 计划 的 一 部 分 。 


每 日 回顾 将 周 循环 和 日 循环 连接 在 一 起 ， 使 任务 清单 “工作 计 划 ) 总 是 
反应 最 新 的 工作 进展 。 及 时 的 调整 不 但 帮助 我 更 灵活 地 分 配 工 作 时 间 ， 
也 增强 了 我 完成 任务 的 信心 ， 降 低 了 “最 后 期 限 ” 市 来 的 压力 。 

10.13 ”专注 是 高 效 工 作 的 前 提 

对 于 完成 任务 而 言 ， 计 划 只 是 第 一 步 ， 更 重要 的 是 有 效 的 执行 。 执 行 任 
务 往往 会 依赖 于 外 部 资源 和 内 部 动力 。 从 时 间 管 理 的 角度 看 ， 专 注 的 工 
作 可 能 是 最 重要 的 内 部 动力 。 

许多 时 间 管 理 方法 建议 工作 者 分 配 一 段 时 间 ， 在 其 中 排除 干扰 ， 专 心 致 




















志 地 完成 一 件 任 务 。 例 如 ，Jonthan Bach 和 James Bach 提 出 了 基于 测 程 的 
测试 管理 ， 建 议 用 一 个 时 间 盒 〈 时 长 为 60~120 分 钟 ) 测试 一 个 主题 

[Bach00a][Bach04a]。 软 件 专家 Staffan Noteberg 在 介绍 番茄 工作 法 时 ， 建 
议程 序 员 将 工作 分 解 为 一 系列 番茄 钟 [Noteberg10]。 一 个 番茄 钟 是 一 个 
时 间 盒 《通常 是 25 分 钟 ) ， 用 于 完成 一 个 明确 的 任务 。 如 果 任 务 没有 完 
成 ， 束 再 分 配 一 个 番茄 钟 。 知 名 博客 作家 Leo Babauta 也 强调 聚焦 一 个 目 
标的 单 任务 模式 [Babauta09]。 他 的 工作 方式 是 每 天 早上 做 的 第 一 件 事 是 
全 天 最 重要 的 事情 。 在 做 完 之 前 ， 绝 不 人 碰 其 他 事情 。 做 完 之 后 ， 他 会 稍 
作 休息 ， 然 后 做 下 一 件 重 要 的 事情 。 还 有 一 些 类 似 的 方法 ， 其 核心 都 是 
划 出 一 段 时 间 做 一 件 事 情 ， 在 “与 世 隔 绝 ” 的 状态 中 ， 尺 全 力 工 作 。 


在 日 常 工 作 中 ， 我 会 从 当天 的 工作 安排 中 选择 一 个 任务 ， 根 据 其 内 容 分 
配 一 段 时 间 ， 然 后 在 该 时 间 盒 内 一 心 一 意 地 工作 。 对 于 小 型 测试 任务 ， 
时 间 合 一 般 是 15~30 分 钟 。 对 于 大 型 测试 任务 ， 时 间 盒 一 般 是 60 分 钟 。 
如 采 60 分 钟 不 能 完成 任务 ， 我 会 稍 作 休 妃 ， 然 后 分 配 一 个 30~60 分 钟 的 
时 间 盒 ， 以 继续 工作 。 我 曾经 连续 3 个 小 时 持续 编码 ， 不 作 任 何 休 奶 
其实 3 个 小 时 是 保守 估计 ， 因 为 我 过 于 投入 ， 已 经 筷 记 任务 何 时 开始 
和 结束 ) ， 也 获得 了 很 好 的 工作 成 有 果 。 但 是 ， 我 党 得 长 时 间 连 续 工 作 并 
不 适用 于 大 多 数 测试 与 开发 任务 。 通 第 ， 持 续 工作 超过 60 分 钟 融会 导致 
注意 力 分 散 和 效率 下 降 。 此 时 ， 应 该 离开 办 公 果 ， 哆 一 点 水 ， 走 动 一 
圈 ， 让 头脑 和 吴 体 都 得 到 放松 。 张 凶 有 上 度 才 能 在 工作 时 集中 精力 。 


除了 拥有 专属 时 间 ， 专 注 工作 还 需要 避免 干扰 。 当 我 打算 专心 工作 时 ， 

我 会 关闭 邮件 客户 端 、 即 时 通信 软件 和 其 他 无 关 软 件 ， 以 避免 分 散 精 力 
在 电子 邮件 、 即 时 消息 、 网 络 冲浪 上 。 有 些 工 作 信息 来 自 电 子 邮件 ， 我 
会 将 此 类 信息 都 复制 到 电子 笔记 本 中 。 在 工作 时 ， 我 只 参考 电子 笔记 

本 ， 并 始终 关 财 邮件 客户 问 ， 这 样 束 不 会 被 新 邮件 所 打扰 。 基 本 思路 是 
人 
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们 不 能 立即 啊 应 紧急 情况 。 对 于 某 些 项 目的 特定 角色 而 言 ， 确 实 如 此 ， 
立即 响应 特定 事件 是 他 们 的 职责 。 但 是 ， 对 于 大 多 数 项 目 ， 测 试 人 

员 “ 离 线 ” 几 个 小 时 ， 并 不 会 导致 项 目 灾 难 。 相 反 ， 专 注 工作 能 更 快 地 所 
供 更 好 的 工作 成 果 ， 反 而 有 利于 项 目 快速 推进 。 


另 一 个 提高 工作 效率 的 小 技巧 是 充分 利用 多 显示 器 。 编 程 和 训 试 都 是 高 
强度 的 知识 处 理 活动 ， 人 脑 需 要 摄 入 、 处 理 、 产 出 大 量 的 信息 。 这 些 信 









































奶 源 目 和 流 问 不 同 的 信息 仓库 ， 它 们 在 计算 机 屏幕 上 体现 为 一 组 分 离 的 
窗口 。 为 了 让 信息 传递 更 加 流畅 ， 测 试 人 员 应 该 降低 信息 流转 的 阻力 ， 
即 降低 窗口 切换 的 开销 。 


图 10-2 是 我 的 工作 环境 ， 由 3 人 台 显 示 露 组成。 在 编程 时 ， 左 侧 的 显示 器 
承载 了 编程 接口 的 帮助 文档 ， 中 间 的 显示 露 展 示 了 代码 编辑 窗口 ， 右 侧 

















的 显示 器 则 提供 额外 的 代码 窗口 和 命令 行 。 在 测试 时 ， 左 侧 的 显示 絮 呈 
现 电 子 笔记 本 ， 以 展示 测试 想法 并 记录 测试 笔记 ， 中 间 的 显示 器 安放 被 
测 产品 的 窗口 ， 以 文 持 测试 执行 ; 右 侧 的 显示 融 拥 有 一 组 调试 和 诊断 工 
具 ， 以 监控 被 汕 产 品 。 这 样 的 显示 器 安排 让 我 快速 访问 各 种 窗口 ， 令 信 
县 流 转 更 加 流畅 。 





` Ew 
图 10-2 利用 多 显示 器 来 提高 工作 效率 


除了 测试 人 员 的 个 人 努力 ， 测 试 小 组 也 可 以 有 意识 地 创造 “安静 时 

间 ”[Ford08]， 以 提高 团队 效率 。 我 的 项 目 团队 有 一 条 会 议 规则 ;所 有 的 
例 行 会 议 都 应 该 安排 在 周一 到 周 四 的 上 午 。 这 样 ， 所 有 的 团队 成 员 《 项 
目 领导 、 产 品 经 理 、 程 序 员 、 测 试 人 员 ) 都 拥有 无 会 议 的 周一 至 周 四 的 
下 午 和 有 周 五 全 天 。 虽 然 有 些 临 时 性 的 会 议 难免 被 安排 在 下 午 和 周 五 ， 但 
是 程序 员 和 测试 人 员 都 拥有 大 块 时 间 可 以 自由 分 配 (产品 经 理 出 于 工作 
需要 ， 会 组 织 和 参加 许多 会 议 ) 。 这 样 可 以 降低 任务 中 断 的 概率 ， 帮 助 
团队 成 员 更 自由 地 使 用 时 间 。 可 见 ， 妃 求 高 效 的 团队 应 该 主动 安排 团队 
时 间 ， 让 个 人 能 够 专注 地 工作 。 


10.1.4 恰到好处 的 文档 化 和 目 动 化 
关于 市 省 时 间 ， 我 有 两 点 经 验 。 








第 一 ， 犯 错 会 浪费 时 间 ， 认 真 把 事情 做 对 能 节省 时 间 。 有 了 时， 我 为 了 赶 
上 进度 会 匆忙 工作 ， 然 而 仓促 的 过 程 往往 导致 一 些 错误 。 为 了 修正 错 
误 ， 我 不 得 不 花费 大 量 时 间 进 行 故障 诊断 和 返工， 这 是 一 些 任 务 超时 的 
根本 原因 。 经 过 几 次 教训 ， 我 渐渐 领悟 到 “和 欲 速 则 不 达 ” 的 道理 。 唯 有 高 
质量 的 工作 才能 获得 稳定 的 速度 ， 才 能 在 进度 压力 下 完成 紧迫 的 任务 ， 
任何 以 降低 质量 为 代价 的 “捷径 ”都 会 导致 失败 。 


第 二 ， 参 考 成功 的 解决 方案 有 助 于 把 事情 做 对 ， 从 而 节省 时 间 。 如 果 某 
个 方法 经 过 实践 考验 ， 能 够 有 效 解决 茶 个 问题 ， 那 么 复 用 或 模仿 它 很 可 
能 再 次 成 功 。 然 而 ， 人 的 记忆 力 是 不 可 靠 的 ， 单 赁 模糊 的 记忆 去 操作 很 
可 能 导致 错误 ， 进 而 浪费 时 间 在 故障 调查 和 问题 修复 上 。 为 了 保存 一 些 
重要 的 信息 ， 我 会 将 它们 写 入 个 人 的 电子 笔记 本 或 测试 小 组 的 知识 库 
(其 载体 也 是 电子 笔记 本 ) 。 通 常 ， 我 用 个 人 笔记 本 保存 一 些 私人 的 想 
法 ， 将 分 享 给 整个 小 组 的 信息 写 入 知识 库 。 


在 多 数 情况 下 ， 我 不 会 预先 编制 大 量 的 文档 ， 而 是 根据 当前 任务 做 必要 
的 文案 。 即 便 是 记录 一 些 通 用 的 知识 ， 结 合 具 体 任务 来 陈述 能 获得 更 好 
的 效果 。 以 下 是 一 些 和 常见 的 文档 编写 时 机 。 


。 一 边 测 试 ， 一 边 记录 。 一 般 ， 我 会 在 测试 之 前 列 出 一 批 初始 的 测试 
想法 ， 从 大 方向 上 思考 测试 类 型 和 测试 策略 。 在 实际 测试 中 ， 测 试 
反馈 会 提供 丰富 的 信息 ， 能 激 及 出 许多 测试 想法 ， 有 些 想法 并 不 闯 
效 ， 有 些 想 法 却 极 具 威力 。 我 会 记录 那些 能 够 提高 测试 覆 凋 、 对 缺 
陷 有 较 强 检测 能 力 的 想法 ， 为 今后 的 测试 提供 文 持 。 


。 在 发 现 错误 时 ， 记 录 正 确 的 做 法 。 这 里 的 错误 不 是 软件 缺陷 ， 而 是 
我 所 犯 下 的 差错 。 软 件 测试 是 非常 复 林 的 技术 调查 ， 我 常常 犯 下 错 
误 ， 导 致 缺陷 遗漏 、 进 度 延长 、 时 间 浪 费 。 为 了 避免 我 自己 和 同事 
再 犯 相似 的 错误 ， 我 会 记录 正确 的 做 法 或 需要 检查 的 要 点 ， 以 市 省 
未 来 的 工作 时 间 。 


当 解 除 疑惑 时 ， 记 录 答 案 。 在 工作 中 ， 我 经 第 过 到 一 些 产 品 疑 问 和 
拉 术 难题 ， 有 时 我 会 独立 调查 ， 有 时 我 会 寻求 同事 的 帮助 。 相 似 

的 ， 同 事 们 也 会 同 我 咨询 一 些 我 了 解 的 问题 。 在 获得 或 提供 答案 之 
后 ， 我 会 考虑 该 答案 是 售 值 得 记录 以 备 复 用 。 如 果 更 多 的 人 也 会 遇 
到 该 问题 ， 或 该 答案 提供 了 一 个 有 价值 的 解决 方案 ， 我 会 把 它 写 入 
知识 库 ， 供 整个 小 组 参考 。 





























在 集体 测试 活动 之 前 ， 编 写 测试 指南 。 一 些 测试 活动 需要 测试 小 组 
成 员 相互 协作 才能 完成 ， 为 此 活动 负 贡 人 应 该 提供 必要 的 测试 信 
晨 ， 分 侠 给 小 组 。 以 缺陷 清扫 (参见 9.5.2 市 为 例 ， 测 试 负 责 人 会 
要 求 各 模块 负责 人 提交 简短 的 测试 说 明 ， 以 陈述 各 模块 有 哪些 潜在 
风险 、 用 户 情景 、 测 试 重点 和 已 知 问题 。 之 后 ， 他 将 汇总 后 的 结 宁 
发 布 给 测试 小 组 ， 帮 助 他 们 更 好 地 理解 测试 任务 。 

















在 我 看 来 ， 文 档 工作 的 秘诀 是 “恰到好处 ”， 最 忌讳 “以 辞 害 意 ”。 也 就 是 


说 ， 
快 、 


应 该 用 简洁 的 语言 、 恰 当 的 形式 记录 最 核心 的 内 容 ， 以 求 写 得 轻 
读 得 方便 。 反 之 ， 生 搬 硬 套 模板 ， 盲 目 追求 形式 ， 只 会 让 作者 和 读 








者 受挫 。 以 下 是 一 些 文档 编写 的 小 技巧 。 





用 操作 文档 (参见 3.2.10 节 ) 来 呈现 如 何 完成 一 个 复杂 的 任务 。 该 
文档 由 一 系列 步骤 组 成 ， 每 个 步骤 用 文字 描述 、 代 码 片 段 、 数 据 文 
件 、 屏 幕 截 图 等 形式 讲述 特定 操作 。 其 核心 价值 在 于 舍弃 了 所 有 修 
饰 ， 针 对 特定 任务 直截了当 地 给 出 解决 方案 ， 使 得 任何 人 都 “ 按 图 
索 颈 ”地 完成 工作 。 


用 测试 想法 列表 〈 参 见 3.2.8 节 ) 或 检查 列表 (参见 3.2.11 节 ) 来 记 
录 测 斌 策略 。 在 本 质 上 ， 测 试 策略 是 一 组 指导 测试 设计 的 想法 ， 因 
此 列表 能 够 自然 地 呈现 测试 策略 的 多 样 性 和 可 延伸 性 。 对 于 测试 人 
员 而 言 ， 列 表 能 快速 传达 有 益 的 测试 提示 ， 又 不 会 约束 他 的 自由 发 
挥 。 而 且 ， 其 简洁 、 开 放 的 形式 能 鼓励 他 用 很 小 的 代价 增加 更 多 的 
测试 想法 。 经 过 几 轮 测试 ， 列 表 会 多 方面 地 覆盖 被 测 领 域 ， 为 周密 
测试 提供 有 益 参 考 。 


使 用 代码 片段 、 屏 磋 截 图 、 视 频 录 像 、 超 级 链接 等 元 素 简 化 文档 编 
写 。 软 件 测试 是 一 项 技术 性 很 强 的 工作 ， 涉 及 许多 细节 ， 有 些 内 容 
很 难 用 文字 清晰 地 描述 。 对 此 ， 我 选择 直接 记录 必要 的 细节 。 如 宋 
征 曾 述 代码 设计 ， 我 会 考虑 提供 核心 代码 的 片段 ， 并 高 沈 出 关键 语 
句 。 如 琳 是 讲解 操作 细节 ， 我 会 考虑 提供 屏幕 截图 ， 并 勾勒 出 重点 
内 容 。 如 果 是 讲解 一 个 软件 的 用 法 ， 我 会 考虑 录制 一 个 10 分 钟 的 操 
作 录 像 ， 以 讲解 第 用 操作 。 如 果 所 讲述 的 概念 比较 复 人 条 ， 我 会 给 出 
参考 文献 的 超级 链接 ， 让 读者 获得 更 多 资料 。 图 10-3 是 我 在 2011 年 
利用 业余 时 间 测 试 必 应 词典 桌面 版 的 笔记 。 它 既是 一 份 测试 日 

志 ， 也 是 一 份 币 用 调试 工具 的 演示 教程 。 在 图 10-3 中 ， 屏 幕 截图 展 
示 了 技术 细 布 ， 图 片上 的 标记 勾勒 出 重点 ， 超 级 链接 指 癌 更 详细 的 
信息 ， 文 字 劳 边 的 问号 点 出 重要 情况 ， 高 腕 文字 标识 出 我 想 强 调 的 

















内 容 。 可 见 ， 有 效 地 利用 是 媒体 的 表现 手段 ， 能 用 很 少 的 文字 传达 
大 量 的 信息 ， 明显 提高 高 了 文档 编写 的 效率 。 


3 在 线 地 址 :https://skydrive.live.com/view.aspx/Public/exploratory^_testing? 
cid=da204d6ee69a08b2&id=documents 。 


了 了 钥 被 测试 进程 的 基本 情况 
30.812K 必 应 词典 
28,296 K 
i 30,632 K 
. ae 本 情况 。 
。 操作 
o 打开 Process Explorer , 找到 BingDict.exe.。 


BingDict 一 个 32 位 程序 。 

Process Explorer 用 黄色 显示 .NET 程 序 ,因此 BingDict 是 .NET 程 序 。 
BingDict 有 子 进程 WordCapture。 从 名 字 上 看 ,WordCapture 负 责 屏 幕 取 词 。 
为 什么 有 两 个 WordCapture ? 是 Bug 吗 ? 


C:\Prog &«S6)\J Bing ary\Skin \Simple \images \Aop 

C:\Program Files &86)\Mecrosoft Bing Dictionary\Engkoo Ehc.U!.Controls.dil 
Pp u D 

Cc: en Files Kk86)\Microsoft Bing Dictionary\Data\Chs dat -ipm 


C:\Program Files &86)\Microsoft Bing Dictionary 
BingDict exe(9016) }: 8948 


探索 : 了 解 BingDicthn 载 的 模块 ， 


在 Process Explore 中 ， 选 择 BingDict , 按 下 "Ctrl+H"”, 查看 BingDict 的 句柄 信息 。 


BingDict 打 开 了 安装 目录 下 的 : Engkoo.Ehc.ULControls.dll , Engkoo.Ehc.Core.dll ,从 名 字 看 它们 是 核 
© (core). 


o BingDict 打 开 了 Data 目 录 下 的 Eng.dat 和 Chs.dat , KS FBCNMRDELSSVAUENH. 





图 10-3 用 屏幕 截图 来 简化 编写 并 丰富 文档 


目 动 化 代码 是 一 种 特殊 的 拉 术 文档 ， 用 计算 机 可 理解 的 方式 表达 了 解决 
方法 。 其 优势 不 仅 在 于 目 动 执行 能 够 怕 管 人 力 ， 还 在 于 代 人 码 是 明确 、 具 
体 、 无 歧义 的 描述 ， 能 够 精确 地 传递 知识 。 代 码 编 写 者 以 外 的 人 在 理解 
ieina, TOREEN A IE 
多 | 其 


测试 人 员 没 有 时 间 把 所 有 任务 都 上 自动化， 而 且 也 不 是 所 有 的 事情 都 适合 
自动 化 。Thomas A. Limoncelli 将 系统 管理 员 需 要 应 对 的 问题 分 成 4 类 ， 

并 给 出 了 相应 的 自动 化 见解 [Limoncelli05]。 我 认为 他 的 观点 也 适用 于 产 
品 安装 、 补 丁 安 装 、 测 试 环境 配置 、 测 试 环 境 更 新 、 数 据 准 备 、 产 品 操 
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结果 分 析 等 测试 任务 。 


只 做 一 次 的 简单 事情 。 此 类 任务 通 冲 无需 目 动 化 ， 因 为 编写 并 调试 
代码 会 花费 更 多 的 时 间 。 不 过 ， 如 果 有 空闲 的 时 间 且 目 动 化 开销 不 
大 ， 我 还 是 会 编写 自动 化 代码 。 一 方面 ， 这 是 一 种 刻意 的 练习 ， 让 
我 复习 编程 接口 和 程序 语言 。 另 一 方面 ， 有 时 很 难 确 保 该 任务 “只 
此 一 次 ”， 轻 便 的 自动 化 开销 不 大 ， 并 节省 了 未 来 的 时 间 。 以 我 的 
经 验 ， 完 成 核心 步骤 的 代码 拥有 较 高 的 复 用 率 。 


只 做 一 次 的 困难 事情 。 我 会 将 该 任务 分 解 为 一 些小 任务 ， 目 动 化 每 
个 小 任务 ， 再 将 它们 串联 起 来 ， 获 得 完 束 的 目 动 化 方案 。 有 时 ， 某 
0 
MEZ -o 


常 做 的 简单 事情 。 此 类 任务 最 适合 自动 化 ， 而 且 自 动 化 的 投入 很 快 
就 能 获得 回报 。6.3.2 节 介绍 了 相关 案例 ， 其 特征 都 是 编写 短小 的 代 
码 ， 以 快速 完成 软件 控制 、 环 境 配 置 、 数 据 分 析 等 任务 。 有 些 手工 
执行 只 需 十 几 秘 的 操作 序列 ， 只 要 是 机 械 的 、 重 复 的 就 值得 目 动 
化 。 代 码 清单 10-1 展 示 了 一 段 AutoHotKey 脚 本 ， 它 监听 到 快捷 键 
Win+F2 后 ， 会 发 送 键盘 命令 Ctrl+C， 将 当前 选中 的 文字 复制 到 剪贴 
板 ， 然 后 在 两 个 搜索 引擎 上 得 询 勇 贴 板 内 容 。 这 段 脚 本 每 次 只 能 
省 几 秒 的 时 间 ， 但 是 它 让 我 摆脱 了 机 械 操作 (复制 文字 、 局 动 浏览 
器 、 输 入 网 址 、 粘 贴 文字 并 搜索 、 输 入 第 二 个 网 址 、 再 粘贴 文字 并 
搜索 ) ， 将 精力 专注 在 核心 任务 上 。 


常 做 的 困难 事情 。 此 类 任务 往往 具有 复杂 的 流程 ， 需 要 处 理 多 种 可 
能 情况 。 对 此 ， 我 会 与 测试 经 理 协商 ， 安 排 一 段 专用 时 间 来 完成 自 
动 化 。 解 决 方案 通 闻 是 基于 现 有 软件 系统 做 二 次 开发 ， 使 之 可 以 处 
理 新 的 流程 。 如 果 项 目 进度 不 允许 花费 大 量 时 间 用 于 目 动 化 ， 我 会 












































编写 操作 文档 或 检查 列表 ， 帮 助手 工 及 半自动 操作 顺利 完成 。 
代码 清单 10-1 ”调用 多 个 搜索 引擎 的 AutoHotKey 代 码 





; 快捷 键 是 Nin+F2 





^c ; AGECtr14+C 

http: //www.bing.com/search?q=%clipboard% ; 在 必 应 上 搜索 剪贴 板 内 
http: //www.google.com/search?q=%clipboard% ; 在 谷歌 上 搜索 剪贴 板 内 
rn ; 命令 结 
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通常 ， 我 会 用 DOS Shell、PowerShell、IronPython、AutoHotKey 等 脚本 
语言 来 完成 小 型 自动 化 ， 用 C# 和 SQL 来 构建 较 复 杂 的 上 自动 化 方案 。 我 的 
感受 是 ， 上 自动 化 代码 积累 得 越 多 ， 测 试 效 率 就 越 高 。 一 方面 ， 持 续 地 编 
写 代码 令 我 更 熟悉 程序 语言 和 编程 接口 ， 能 够 更 快 地 开发 新 代码 。 男 一 
方面 ， 已 有 代码 是 很 好 的 知识 库 ， 通 过 代码 复 用 和 简单 改写 ， 我 可 以 并 
即 解决 当前 环境 的 常见 问题 。 在 某 种 意义 上 ， 有 价值 的 代码 是 “ 活 的 ” 代 
P 并 在 复 用 过 程 中 被 不 断 增强 ， 从 而 发 展 出 灵活 的 结构 
Ny 能力 。 











10.2 ”持续 学 习 


软件 行业 总 在 高 速 发 展 中 ， 测 试 人 员 为 了 胜任 工作 和 推动 职业 发 展 ， 必 
须 持续 地 学 习 。 上 所 谓 学 习 是 “求学 ”获取 知识 ) 和 “练习 ”( 应 用 知识 ) 
的 组 合 ， 是 吸纳 、 实 践 、 反 思 的 循环 过 程 。 也 就 是 说 ， 学 习 并 非 单 纯 地 
摄取 知识 ， 还 需要 积极 地 实践 ， 通 过 反馈 和 反思 来 巩固 学 习 成 果 。 基 本 
上 ， 来 自 实践 的 知识 只 有 在 实践 之 后 才能 真正 掌握 。 


10.2.1 在 工作 中 学 习 


为 了 高 效 地 完成 测试 任务 ， 测 试 人 员 需 学 习 许 多 内 容 ， 包 括 领 域 知识 、 
用 户 情景 、 测 试 技术 、 计 算 平 台 、 开 发 技术 、 软 件 项 目 、 项 目 团队 等 。 
面 对 如 此 多 的 内 容 ， 一 条 值得 参考 的 指导 原则 是 ， 确 定 项 目 团队 或 所 在 
领域 最 需要 的 技能 ， 然 后 努力 掌握 它们 [Kaner01]。 对 于 此 类 知识 ， 通 
过 实际 工作 来 掌握 是 一 种 比较 好 的 学 习 方 法 。 这 样 做 可 以 加 速 获取 知识 
与 应 用 知识 的 循环 ， 并 让 学 习 成 果 立 即 帮 助 测试 过 程 。 成 功 的 应 用 能 够 
增强 测试 人 员 的 信心 ， 鼓 舞 他 更 深入 地 研究 。 


实际 上 ， 本 书 的 大 部 分 内 容 都 在 讨论 如 何 学 习 产 品 和 项 目 。 第 2 章 到 第 5 
章 讨论 了 使 用 多 种 测试 方法 实施 技术 调查 ， 第 7 章 介绍 了 产品 研究 ， 第 8 
章 探讨 了 项 目 研究 。 在 此 ， 本 节 只 简单 地 介绍 当 我 接手 一 个 功能 时 ， 会 
做 哪些 初步 的 学 习 。 


。 首先 ， 我 会 实施 积极 阅读 〈7.3.2 节 ) ， 评 审 该 功能 的 移交 文档 
《3.2.14 节 ) ， 以 掌握 该 功能 的 基本 情况 ， 包 括 需求 与 功能 、 质 量 
标准 、 基 本 测试 想法 、 现 有 目 动 化 测试 、 可 用 测试 数据 、 已 知 缺 
陷 、 洪 在 风险 等 。 然 后， 我 与 原 汕 试 负责 人 讨论 这 些 内 容 ， 了 解 他 
测试 该 功能 的 经 验 与 拉 巧 ， 并 请 教 在 文档 阅读 过 程 中 产生 的 疑惑 。 


。 除 了 团队 内 部 文档 ， 我 还 会 参考 外 部 资料 。 例 如 ， 在 测试 Web 应 用 
时 ， 我 会 在 网 络 上 搜索 Web 开 发 和 测试 的 资料 ， 了 解 基 本 编程 技 
术 、 和 名 用 测试 策略 、 典 型 缺陷 和 可 用 工具 ， 并 评估 在 当前 项 目 中 如 
何 运用 这 些 信 息 。 又 例如 ， 在 测试 Microsoft Office 产 品 时 ， 我 会 收 
集 一 些 专 著 和 网 络 文献 ， 阅 读 相 关内 容 。 经 过 多 年 的 使 用 和 研究 ， 
很 多 熟练 用 户 已 经 成 长 为 Office 专 家 ， 他 们 撰写 了 大 量 的 书籍 和 资 
料 。 阅 读 这 些 文 献 可 以 了 解 用 户 最 常 使用、 专家 最 常 推荐 的 使 用 情 






































景 ， 并 发 掘 出 许多 内 部 文档 没有 记录 的 细节 。 


。 更 重要 的 是 ， 我 会 通过 漫游 测试 〈5.4.4 节 ) 和 快速 测试 (5.57) 
来 实际 操作 软件 ， 建 立 或 完善 该 功能 的 一 批 测 试 模型 (4.2 节 ) 。 
常见 的 测试 结果 是 功能 列表 〈3.2.4 节 ) 、 测 试想 法 列表 (3.2.8 
节 ) 、 输 入 与 输出 模型 (4.2.2 节 ) 、 系 统 生 态 图 (4.2.3 节 ) 和 更 新 
了 的 移交 文档 等 。 


随 痢 测试 的 发 展 ， 我 会 进一步 研究 产品 和 项 目 元 系 ， 并 尝试 更 多 的 测试 
方法 。 可 见 ， 在 测试 过 程 中 ， 测 试 人 员 不 但 能 学 到 许多 与 产品 相关 的 知 
识 ， 还 可 以 循序 渐进 地 学 习 行 业 知 识 、 开 发 技术 、 测 试 方法 、 测 试 模型 
等 内 容 。 只 要 他 保持 学 习 的 积极 性 ， 勇 于 进入 新 领域 并 答 试 新 技术 ， 测 
试 工作 就 能 帮助 他 持续 地 成 长 。 


10.2.2 ”持续 阅读 


除了 在 工作 中 学 习 ， 测 试 人 员 还 需要 超出 公司 业务 和 软件 测试 ， 拓 展 自 
己 的 职业 发 展 [Kaner01]。 专 业 的 测试 人 员 不 但 为 公司 工作 ， 还 应 对 目 己 
人 负责， 学 习 各 种 知识 来 提升 自身 的 能 力 。 对 于 我 而 言 ， 这 意味 着 阅读 大 
量 的 书籍 。 在 博客 上 ， 我 提供 了 一 份 阅读 清单 ， 列 出 了 40 多 本 我 读 过 
的 测试 书籍 。 实 际 上 ， 我 的 阅读 量 远 不 止 这 些 。 图 10-4 展 示 了 我 读 过 的 
一 些 软件 开发 书籍 ， 左 上 角 是 我 曾经 的 办 公 室 藏 书 ， 右 下 角 是 目前 的 家 
性 藏书 。 书 籍 内 容 涉 及 开发 拉 术 、 测 试 技术 、 开 发 方法 论 、 软 件 工具 、 
行业 故事 等 ， 既 有 经 典 名 车， 勾 有 时 效 性 较 强 的 工具 书 。 


4 http://www.cnblogs.com/liangshi/p/3274750.html 。 





图 10-4 我 读 过 的 软件 开发 书籍 (局 部 ) 


对 于 比较 重要 的 书 ， 我 会 一 边 阅读 一 边 做 笔记 。 图 10-5 展 示 了 我 对 《 完 
美 软件 一 一 对 软件 测试 的 各 种 幻想 》[Weinberg09] 做 的 笔记 ， 包 括 用 即 
时 贴 标 记 重点 页 面 ， 用 铅笔 勾勒 重点 文字 、 进 行 批 注 和 绘制 草图 。 在 我 
看 来 ， 笔 记 的 形式 和 内 容 并 不 重要 ， 关 键 是 做 笔记 可 以 让 我 读 得 更 慢 一 
些 ， 并 随时 记录 阅读 感想 。 这 将 自己 的 知识 和 经 验 带 入 阅读 ， 让 我 与 书 
的 作者 进行 虚拟 “对 话 ”， 使 阅读 不 是 单纯 的 摄取 ， 还 伴随 着 反思 。 


对 于 一 些 工 具 书 ， 我 一 般 不 会 全 部 读 完 ， 只 是 放 在 案头 备查 。 例 如 ， 虽 

然 我 经 常 参 考 《SQL Server 2005 范 例 代 人 码 查询 辞典 》? ， 但 是 从 没有 完 

整地 读 过 一 遍 。 如 果 我 发 现 某 些 内 容 在 工作 中 被 反复 参考 ， 我 会 阅读 它 

们 所 在 的 一 章 ， 以 了 解 该 子 领域 。 通 常 ， 我 不 会 阅读 与 实际 任务 无 关 的 

章节 ， 毕 竟 在 时 间 有 限 的 情况 下 ， 应 该 将 精力 集中 在 有 帮助 的 内 容 上 。 
资源 。 





| 5 http://book.douban.com/subject/1762921/ 。 





阅读 需要 大 量 的 时 间 ， 然 而 忙碌 的 工作 常常 会 大 幅 压 缩 空 闲 时 间 。 对 

此 ， 我 采用 两 个 办 法 来 坚持 阅读 。 第 一 ， 对 于 重要 的 书 ， 我 会 安排 一 个 
固定 的 时 段 ， 每 天 读 一 个 小 时 。 一 个 小 时 并 不 是 严格 的 约束 ， 空 闲 时 间 
充裕 就 多 读 一 会 儿 ， 空 闲 时 间 紧 张 就 少 读 一 会 儿 。 关 键 在 于 每 天 不 间断 





地 阅读 ， 经 过 一 段 时 间 的 积累 ， 目 然 能 够 获得 长 足 的 进展 。 第 二 ， 我 会 
利用 旅途 、 等 待 、 工 作 间 隐 等 碎片 时 间 来 阅读 。 例 如 ， 我 曾经 坐 地铁 上 
往返 需 eo le 于 是 ， 我 将 这 一 个 小 时 视 为 额外 的 阅读 时 








司 ， 总 是 携带 一 本 书 在 地 铁 上 浏览 。 这 样 每 日 积累 ， 一 个 月 可 以 多 读 一 
RKB. 


EE SIAU PJAK >» 


当然 了 ， 在 不 考虑 由 于 不 看 车 寞 外 面 发 生 交通 事故 的 情况 下 ， 安全 
车 用 常常 会 花 更 长 的 时 间 。 ET i 





图 10-5 我 对 《完美 软件 一 一 对 软件 测试 的 各 种 幻想 》 所 做 的 笔记 


除了 书籍 ， 我 还 会 经 常 阅 读 技 术 博 客 和 杂志 文章 。 我 的 切身 体会 是 大 量 
阅读 能 够 拓展 知识 面 ， 并 逐渐 建立 自己 的 知识 体系 。 当 接 触 到 一 本 新 书 
或 新 文章 时 ， 我 可 以 快速 地 评估 其 内 容 属 于 知识 体系 的 哪 一 部 分 ， 它 的 
哪些 部 分 对 我 有 益 或 无 用 ， 它 的 哪些 观点 与 我 一 致 或 相反 。 这 帮助 我 更 
有 效 地 阅读 文献 ， 并 运用 其 知识 。 


单纯 的 阅读 并 没有 完成 学 与 习 的 循环 ， 还 需要 实践 才能 真正 掌握 知识 。 
对 于 读 到 的 测试 方法 ， 我 会 刻意 在 测试 工作 中 运用 ， 通 过 实践 来 评估 其 
适用 范围 。 对 于 读 到 的 编程 技术 ， 我 会 用 它 编 写 有 实际 用 途 的 程序 或 目 
动 化 测试 代码 。 并 不 是 所 有 方法 痢 适 合 我 的 项 目 语 境 和 个 人 情况 。 但 古 
在 束之高阁 之 前 ， 应 该 花 一 些 时 间 来 实践 它们 。 这 可 以 扩展 眼界 ， 体 会 
思想 和 技术 ， 还 可 以 让 一 些 看 似 不 合 常 理 却 有 效 的 方法 脱 刹 























10.3 HA 


经 历 和 经 验 是 两 个 紧密 相关 又 相互 区 别 的 概念 : 经 历 是 一 段 工作 的 过 
程 ， 而 经 验 是 从 该 过 程 中 学 习 到 的 理论 和 方法 。 从 个 人 努力 的 角度 ， 经 
历 只 与 工作 时 间 和 工作 内 容 有 关 ， 它 会 随 着 工作 年 限 而 自然 增长 ， 但 是 
经 验 则 需要 主动 地 积累 和 反思 。 也 就 是 说 , “两 年 的 工作 经 历 ” 并 不 会 目 
动 转化 成 “两 年 的 工作 经 验 *”， 测试 人 员 能 力 的 成 长 取决 于 他 如 何 对 每 和 
反思 其 实践 。 而 且 ， 如 果 他 不 能 及 时 发 现 工作 中 的 坏 习 惯 ， 更 长 的 工作 
ISTE] A Sot RSE, ARRAS 


关于 经 验 积累 与 分 享 ， 软 件 开 发 者 Dave Hoover 和 Adewale Oshineye 在 其 
著作 《软件 开发 者 路 线 图 : 从 学 徒 到 高 手 》 (Apprenticeship Patterns: 
Guidance for the Aspiring Software Craftsman ) 中 提出 了 一 些 很 好 的 方法 
oe 。 其 中 ， 且 行 且 思 、 记 录 所 学 和 分 享 所 学 也 是 我 一 直 坚 持 的 
实践 。 


“ 且 行 且 思 ”这 个 言 简 意 凡 叉 意味 深长 的 表述 来 自 王 江平 先生 传神 的 翻 
译 。 一 方面 ， 它 暗示 软件 人 员 的 职业 生涯 是 “漫漫 长 路 "”， 需 要 坚持 不 懈 
地 跋涉 ; 为 一 方面 ， 它 指出 持续 的 努力 应 该 伴随 持续 的 思考 ， 执 行 与 反 
思 缺 一 不 可 。 有 具体 而 言 ， 专 业 人 员 需 要 建立 对 目 己 工作 的 反馈 回路 ， 通 
人 
进 方案 。 


在 工作 中 ， 我 将 “ 且 行 且 思 ”和 “记录 所 学 ”结合 在 一 起 。 所 谓 “ 记 录 所 
学 ”就 是 持续 地 记录 自己 学 习 到 的 知识 和 感悟 到 的 想法 。 和 许多 开发 者 
一 样 ， 我 同时 使 用 两 种 记录 载体 ， 一 个 是 私人 工作 日 志 ， 用 于 保存 个 人 
的 想法 ， 一 个 是 团队 知识 库 ， 用 于 分 享 对 团队 有 价值 的 知识 。 这 意味 看 
我 可 以 利用 两 种 反馈 回路 ， 个 人 记录 帮助 我 城 实 面 对 目 己 的 进步 与 错 
误 ， 公 开 记 录 则 将 经 验 传递 给 团队 并 接受 更 广泛 的 反馈 。 


图 10-6 展 示 了 我 的 私人 工作 日 志 。 这 是 一 个 A4 幅 面 的 记事 本 ， 用 黑色 的 
人 
AZ: 









































图 10-6 私人 工作 日 志 


通常 ， 我 会 在 周末 回顾 一 周 的 工作 《〈 且 行 且 思 ) ， 并 将 工作 经 历 和 个 人 
人 


。 我 测试 了 哪些 功能 ? 使 用 了 什么 测试 策略 ? 为 什么 使 用 这 些 策略 ? 
思 些 策 咯 发 挥 了 比较 好 的 效果 ， 应 该 坚持 使 用 ? 哪些 策 咯 效 果 丰 
， 需 要 改进 ? 


。 我 开发 了 哪些 代码 ?进行 了 哪些 设计 决策 ? 这些 决 策 的 依据 是 什 
A? 哪些 决策 发 挥 了 比较 好 的 效果 ? 哪些 决策 效果 不 佳 ? 这 对 今后 
的 开发 工作 有 了 哪些 局 示 ? 


© 我 参与 了 哪些 协作 性 活动 ? 我 的 哪些 行为 推动 了 协作 ? 有 没有 更 好 
的 协作 方法 ? 我 的 哪些 行为 不 利于 协作 ? 我 应 该 如 何 改进 ? 


© 我 做 对 了 什么 ? 该 做 法 为 什么 有 效 ? 它 坚 持 了 什么 价值 观 ， 应 用 了 
何 种 实践 方法 ? 未 来 应 该 如 何 坚持 ? 


。 我 做 错 了 什么 ? 错误 的 根源 是 什么 ? 我 应 该 如 何 改进 ? 
© 我 观察 到 什么 有 趣 的 事情 或 现象 ? 这 对 我 有 什么 局 发 ? 
。 我 有 哪些 有 趣 的 想法 ? 


我 对 日 志和 内容 没 有 严格 的 限定 ， 只 是 宽泛 地 记录 本 周 的 所 行 所 想 。 因 为 
仅 供 上 自己 参考 ， 所 以 我 从 不 担心 文字 表达 是 否 条 理 清 晰 ， 尽 管 以 目 己 能 
够 理解 的 方式 不 断 地 书写 下 去 。 即 便 茶 些 页 面 因 为 修改 文字 和 补充 想法 
显得 有 些 凌乱 ， 我 也 不 会 在 意 。 有 时 ， 这 些 改动 和 补充 恰恰 忠实 记录 了 
某 个 想法 的 演变 过 程 。 


软件 大 师 Jerry Weinbeg 是 个 人 日 志 的 长 期 实践 者 ， 他 道 出 了 日 志 的 一 个 
重要 优点 : “不 像 书籍 或 课程 ， 日 志 所 记录 的 一 切 都 与 你 有 关 。 因 为 个 
人 学 习 都 是 私人 的 ， 我 不 能 保证 你 能 学 到 什么 ， 但 是 我 可 以 保证 你 一 定 
会 学 到 一 些 有 价值 的 东西 。”[Bolton07] 我 的 切身 感受 也 是 如 此 ， 日志 记 
录 了 我 的 所 学 所 想 ， 提 供 了 稳定 且 持 续 的 自我 有 反馈。 除了 每 周 反 思 和 记 
录 ， 我 会 定期 读 一 读 以 前 写 的 日 志 ， 用 新 的 眼光 来 审视 过 去 的 想法 和 决 
策 ， 用 已 有 的 案例 和 经 验 来 考察 现在 的 情况 。 访 积极 的 复读 过 程 可 以 梳 
理 我 的 工作 经 历 ， 并 将 分 离 的 想法 有 机 地 联系 在 一 起 ， 构 成 自己 的 价值 
观 和 知识 体系 。 在 撰写 本 书 的 过 程 中 ， 我 也 多 次 参考 现 有 的 工作 日 志 

( 共 5 本 ) ， 不 但 获得 了 很 多 资料 ， 也 再 次 反思 了 目 己 的 工作 方法 。 


通过 “ 且 行 且 思 ”和 “记录 所 学 ”可 以 积累 许多 经 验 ， 这 时 应 该 “分 享 所 
学 ”。 在 日 常 工作 中 ， 我 会 将 知识 和 经 验 分 享 到 团队 知识 库 ， 或 通过 邮 
件 、 报 告 等 形式 广播 给 整个 小 组 。 此 外 ， 我 还 会 选择 一 些 有 价值 且 不 涉 
及 机 密 的 内 容 ， 撰 写成 文章 ， 发 布 在 我 的 博客 上 ® 。 


6 我 的 博客 网 址 : http://cnblogs.com/liangshi/ 。 


在 我 看 来 ， 撰 写 博客 是 很 好 的 个 人 实践 。 首 先 ， 它 是 一 种 学 习 方法 ， 推 
动 我 更 周详 地 分 析 要 友 表 的 内 容 ， 从 而 获得 只 有 深入 思考 才能 得 到 的 洞 
察 力 和 系统 性 。 当 我 日 认为 已 经 了 解 一 个 主题 时 ， 有 条 理 地 阐述 它 会 暴 
露出 我 原 有 认识 的 不 足 。 为 了 更 好 地 论述 ， 我 会 做 必要 的 研究 ， 包 括 阅 
读 文 献 和 动手 实验 。 从 这 个 角度 看 ， 撰 写 过 程 本 质 是 研究 过 程 ， 博 客 文 
































半 是 研究 过 程 的 自然 结果 。 第 二 ， 技 术 写 作 是 一 个 专业 人 员 应 该 具备 的 
素质 ， 它 对 书面 交流 和 技术 传播 非常 重要 。 提 高 写作 能 力 的 核心 方法 就 
是 多 写 ， 扬 写 博客 为 此 提供 了 很 好 的 练习 机 会 。 第 三 ， 发 表 博 客 文 章 可 
以 从 更 广大 的 社区 中 获得 反馈 。， 并 “以 文 会 友 ” 去 认识 一 些 志 同道 合 的 朋 
友 。 例 如 ， 我 和 高 翔 通 过 彼此 的 博客 发 现 双方 都 对 探索 式 测试 有 浓厚 的 
兴趣 ， 于 是 经 常 交换 意见 和 分 享 经 验 ， 上 自然 成 为 好 友 。 后 来 ， 我 们 一 起 
合作 撰写 了 《探索 式 测试 实践 之 路 》’” 一 书 ， 将 所 学 所 知 分 享 给 整个 中 
文 测试 社区 。 第 四 ， 博 客 按时 间 顺 序 记 录 了 作者 的 工作 历程 。 经 过 一 段 
时 间 的 积累 ， 它 不 但 成 为 作者 的 个 人 知识 库 ， 还 是 他 的 个 人 “名 片 ?， 能 
够 有 说 服 力 地 展示 其 技术 能 力 和 思考 水 平 ， 帮 助 他 获得 社区 的 认可 。 























7 该 书 主 页 : http://cnblogs.com/etbook/ 。 


在 本 质 上 ， 且 行 且 思 、 记 录 所 学 和 分 享 所 学 的 核心 是 持续 的 反思 和 积 

索 。 这 要 求 测 试 人 员 建 并 反馈 回路 ， 通 过 各 种 途径 来 评估 自己 的 行为 和 
方法 ， 并 记录 下 经 验 教训 和 改进 方案 。 其 功效 并 非 一 畏 一 夕 束 可 显现 ， 
但 是 集 腋 成 琢 的 积累 会 获得 丰 贷 的 成 果 。 











10.4 MARR 


FEMA AEE, WAAR BER: 成 为 技术 专家 或 团队 领导 。 
在 更 大 的 范围 上 ， 他 可 以 选择 新 的 研发 角色 ， 如 程序 员 或 产品 经 理 ， 甚 
至 离开 软件 行业 ， 投 身 新 的 领域 。 不 管 选择 哪 条 着 路 ， 他 都 应 该 主动 设 
定 目 标 ， 并 积极 进取 。 本 市 将 简单 讨论 测试 搁 术 专家 这 条 职业 路 线 。 


首先 ， 测 试 人 员 应 该 成 为 一 名 通才 。 软 件 本 身 的 复杂 性 及 其 应 用 的 广泛 
性 要 求 测试 人 员 从 多 个 关系 人 的 角度 ， 综 合 运 用 多 种 方法 实施 技术 调 

得。 这 意味 着 测试 人 员 需 要 超出 当前 任务 范围 去 掌握 大 量 的 测试 方法 。 
唯 有 如 此 ， 当 他 切入 新 领域 或 接 到 新 任务 时 ， 才 能 根据 语 境 开发 出 有 针 
对 性 的 、 注 重 实效 的 测试 策略 。 


恰 如 测 试 专家 所 说 , “不 要 约 想 只 要 两 个 星期 就 可 以 成 为 柔道 黑 

带 ”[Kaner01]， 成 为 通才 需要 艰苦 的 努力 和 漫长 的 积累 。“ 书 山 有 路 勤 为 
径 ， 学 海 无 涯 兰 作 丹 盖 坚持 不 懈 是 职业 发 展 中 一 个 重要 的 〈 也 可 能 
是 最 重要 的 ) 策略 。 此 外 ， 一 个 有 帮助 的 方法 是 先 了 解 一 些 框架 性 方 
法 ， 以 大 致 掌握 测试 领域 的 脉络 。 例 如 ， 六 要 素 测 试 分 类 系统 〈 人 参见 
5.1 节 ) 是 测试 方法 的 分 类 框架 ， 局 发 式 测试 策略 模型 〈 参 见 4.2.1 节 ) 
是 测试 设计 的 参考 框架 ， 启 发 式 测 试 计 划 的 语 境 模型 (参见 3.2.1 节 ) 是 
测试 计划 的 参考 框架 ， 基 于 测 程 的 测试 管理 (参见 3.2.13 节 ) 是 测试 执 
行 的 框架 。 在 建立 了 理论 框架 之 后 ， 测 试 人 员 可 以 在 工作 与 学 习 中 不 停 
地 累积 具体 的 技术 ， 并 将 “血肉 ”添加 到 “骨架 ”之 中 。 久 而 久之 ， 其 知识 
TS FE PA BES “AY RH PR” o 


一 名 测试 新 人 需要 避免 的 思维 误区 是 用 茶 个 职务 头衔 限制 自身 能 力 的 发 
展 。 例 如 ， 我 在 测试 论坛 中 发 现 一 些 测 试 人 员 常 讨论 “日 盒 测 试 工程 

师 ”、“ 黑 盒 测试 工程 师 * 和 “性 能 测试 工程 师 ” 等 职位 。 一 部 分 人 认为 它 
们 是 相互 排斥 的 ， 即 做 白 盒 工程 师 束 不 用 考虑 用 户 情 景 ， 做 黑 盒 工程 师 
就 不 用 考虑 代码 实现 ， 做 性 能 工程 师 就 只 要 钻研 性 能 测试 工具 。 其 实 ， 
这 些 名 词 只 是 茶 些 公司 所 设 定 的 职位 而 已 ， 只 代表 他 们 对 工程 师 的 要 

求 ， 并 不 体现 软件 行业 对 高 水 平 测试 人 员 的 期 望 。 实 际 上 ， 国 内 外 的 高 
水 平 科技 企业 都 要 求 工 程 师 能 够 独当一面 ， 能 够 独立 完成 一 个 子 领域 的 
大 部 分 任务 。 对 于 测试 人 员 而 言 ， 他 需要 能 够 独立 完成 一 个 子 系统 的 测 
试 ， 无 论 测试 活 动 是 白 盒 测试 、 黑 盒 测 试 还 是 性 能 测试 ， 只 要 工作 需 

要 ， 他 就 应 该 有 能 力 完 成 。 因 此 ， 为 了 长 远 地 发 展 职业 生源， 测试 人 员 



































不 应 该 被 头衔 所 约束 ， 而 是 要 积极 地 拓展 自己 的 技术 广度 。 


在 广泛 涉 猫 的 基础 上 ， 测 试 人 员 需 要 选 定 一 个 领域 ， 成 为 该 领域 的 专 

家 。 这 意味 着 要 了 解 该 领域 的 概念 、 理 论 、 技 术 和 细节 ， 能 够 提出 高 层 
的 设计 方案 ， 也 能 解决 困难 的 具体 问题 。 当 团队 成 员 轴 到 困难 时 会 主动 
向 他 咨询 ， 他 能 够 快速 地 给 出 答案 。 如 果 遇 到 某 个 非常 困难 的 问题 ， 不 
能 立即 回答 ， 他 经 过 一 段 时 间 的 研究 ， 能 够 清晰 地 解释 问题 的 根源 ， 并 
提供 相应 的 缓解 方案 。 有 时 ， 他 会 给 出 在 干 方案 ， 并 分 析 每 种 方案 的 优 
缺点 ， 然 后 目 然 导 出 目前 的 最 佳 方案 。 可 见 ， 专 家 古 该 领域 的 咨询 师 ， 

其 声望 与 职务 头衔 无 天 ， 而 是 来 目 于 帮助 团队 解决 实际 问题 的 能 


在 工作 中 ， 我 接触 过 一 些 专家 。 虽 然 他 们 有 不 同 的 工作 风格 ， 但 是 仍 表 
现 出 一 些 共 性 的 特征 ， 为 测试 人 员 的 发 展 提供 了 参考 范例 。 


。 专家 透彻 地 了 解 他 的 领域 。 在 软件 测试 中 ， 有 一 些 领域 需要 较 强 的 
能 力 和 长 期 的 积累 ， 如 行业 知识 、 情 景 测试 、 安 全 测试 、 国 际 化 测 
试 、 性 能 测试 、 测 斌 开发、 调试 诊断 等 。 专 家 会 在 特定 的 一 个 或 几 
个 领域 中 长 期 投入 ， 积 累 丰 富 的 技术 和 经 验 。 面 对 具体 问题 时 ， 他 
们 能 够 提供 合理 的 解决 方案 ， 或 给 出 实用 的 建议 。 


专家 会 持续 拓展 其 专业 领域 。 在 高 速 发 展 的 软件 行业 中 ， 他 们 会 根 
据 项 目 和 职业 发 展 的 需要 切入 新 领域 ， 并 成 为 新 领域 的 专家 。 过 去 
的 经 验 和 成 功 并 不 会 将 他 们 束缚 在 原 有 的 领域 中 ， 相 反 它 们 为 持续 
探索 提供 了 动力 和 基础 。 


专家 会 主动 承担 领导 贡 任 。 技 术 专 家 一 般 不 承担 领导 职务 ， 但 他 们 
从 来 都 是 团队 的 技术 领导 。 其 领导 力 不 是 来 自 于 任命 ， 而 是 来 自 于 
强烈 的 责任 心 、 渊 博 的 知识 、 丰 富 的 经 验 和 出 色 的 工作 ， 因 此 它 拥 
有 牢固 的 基础 和 天 然 的 说 服 力 。 在 测试 小 组 中 ， 专 家 会 组 织 具体 活 
动 ， 编 写 相 应 的 测试 指南 ， 回 答 测试 人 员 的 问题 ， 并 给 出 专业 的 建 
议 。 例 如 ， 安 全 测试 专家 会 编写 安全 测试 指南 ， 并 在 团队 知识 库 中 
记录 安全 测试 相关 的 技能 和 工具 。 在 项 目 中 ， 他 评审 所 有 系统 和 组 
件 的 测试 设计 ， 从 安全 测试 的 角度 给 出 有 价值 的 建议 。 此 外 ， 他 会 
定期 组 织 针 对 安全 缺陷 的 集体 测试 活动 ， 如 结对 测试 、 组 队 测试 、 
头脑 风暴 会 议 〈 人 参见 7.3.3 节 ) 等 。 在 此 过 程 中 ， 他 与 小 组 成 员 一 起 
测试 ， 现 场 演示 方法 和 工具 ， 讲 解 其 原理 和 技巧 ， 帮 助 他 人 更 好 地 
实施 安全 测试 。 






































。 专家 会 主动 将 目 己 的 工作 和 知识 分 部 给 团队 。 专 家 拥有 民 好 的 书面 
表达 和 口语 表达 能 力 ， 能 通过 团队 知识 库 、 技 术 报 告 、 电 子 邮件 、 
专题 讲座 、 口 头 交 流 等 形式 传递 知识 。 此 外 ， 他 会 主动 选择 并 开始 
一 个 技术 项 目 ， 在 取得 切实 进展 后 ， 将 阶段 性 成 果 报 告 给 测试 小 
组 。 这 些 成 果 能 够 帮助 测试 人 员 更 好 地 工作 ， 也 豆 励 他 们 加 入 进 
来 ， 推 动 项 目的 持续 发 展 。 


不 难看 出 ， 以 上 实践 并 没有 超越 任务 管理 、 持 续 学 习 、 知 行 合 一 、 且 行 
且 思 、 记 录 所 学 、 分 享 所 学 的 范畴 ， 只 是 专家 的 努力 付出 获得 了 令 人 移 
叹 的 成 绩 。 这 表明 测试 人 员 遭 循 相 同 的 原则 和 方向 ， 通 过 研究 、 实 践 和 
有 反思， 也 可 以 成 长 为 专家 。 这 是 一 条 漫漫 长 路 ， 但 是 耐心 和 坚持 能 帮助 
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时 间 管 理 的 本 质 是 任务 管理 ， 即 为 一 组 任务 制订 合理 的 计划 ， 然 后 
有 效 地 执行 ， 并 动态 地 调整 计划 。 


应 该 把 所 有 任务 信息 集中 在 一 个 地 方 ， 以 便 随 时 参考 和 修改 。 


A 以 适应 复杂 且 变 化 的 项 目 
情况 。 


高 效 工 作 的 第 一 步 是 保持 专注 。 


测试 人 员 应 该 主动 创造 专注 的 工作 环境 , “ 单 任务 ”的 时 间 盒 是 营 见 
FTE 


错误 会 浪费 大 量 的 时 间 ， 认 真 把 事情 做 对 能 市 省 时 间 。 


恰到好处 的 文档 化 和 自动 化 能 够 用 较 小 的 代价 呈现 切实 可 行 的 解决 
方案 ， 有 助 于 避免 错误 ， 节 省 时 间 。 


学 习 的 本 质 是 “知行 合 一 ”， 和 是 吸纳 、 实 践 、 反 思 的 循环 过 程 。 
通过 工作 来 学 习 项 目 或 领域 最 需要 的 技能 ， 有 事半功倍 之 效 。 


测试 人 员 需 要 超出 公司 业务 和 软件 测试 ， 来 扩大 自己 的 知识 储备 。 
对 此 ， 坚 持 阅 读 是 一 个 基本 方法 。 


为 了 从 实践 中 获得 更 多 ， 测 试 人 员 要 且 行 且 思 、 记 录 所 学 、 分 享 所 
YA 
fro 




















测试 人 员 应 该 同时 拓展 其 技术 能 力 的 广度 和 深度 ， 成 为 通才 和 专 
Ro 


坚持 不 懈 是 职业 发 展 的 基础 性 策略 。 
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